KR102416386B1 - 다중 입력 모드에 대한 입력 모드 통지 - Google Patents

다중 입력 모드에 대한 입력 모드 통지 Download PDF

Info

Publication number
KR102416386B1
KR102416386B1 KR1020217037578A KR20217037578A KR102416386B1 KR 102416386 B1 KR102416386 B1 KR 102416386B1 KR 1020217037578 A KR1020217037578 A KR 1020217037578A KR 20217037578 A KR20217037578 A KR 20217037578A KR 102416386 B1 KR102416386 B1 KR 102416386B1
Authority
KR
South Korea
Prior art keywords
electronic device
radar
user
display
input mode
Prior art date
Application number
KR1020217037578A
Other languages
English (en)
Other versions
KR20210146417A (ko
Inventor
데본 제임스 오라일리 스테른
레오나르도 쥐스티
비그네쉬 사치다난담
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020227021967A priority Critical patent/KR20220098805A/ko
Publication of KR20210146417A publication Critical patent/KR20210146417A/ko
Application granted granted Critical
Publication of KR102416386B1 publication Critical patent/KR102416386B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서는 다중 입력 모드에 대한 입력 모드 통지를 활성화하는 기술과 시스템에 대해 설명한다. 레이더 필드(110)는 전자 디바이스(102)가 전자 디바이스 근처의 사용자의 존재 또는 부존재를 정확하게 결정할 수 있게 한다. 또한, 전자 디바이스는 레이더 기반 제스처를 통해 입력을 수신할 수 있는 어플리케이션이 전자 디바이스에서 동작하는지 여부를 판단할 수 있다. 이러한 기술을 사용하여, 전자 디바이스는 전자 디바이스와 상호작용하기 위해 레이더 제스처 입력이 이용가능하다는 것을 사용자에게 알려주기 위해 사용자가 가까이 있을 때 전자 디바이스의 디스플레이(114) 상에 입력 모드 통지(118)을 제시할 수 있다. 이것은 디바이스가 전자 디바이스가 무엇을 할 수 있는지에 대해 사용자를 교육할 수 있는 피드백을 사용자에게 제공할 수 있게 하고 사용자가 레이더 제스처의 가용성에 의해 제공되는 추가 기능 및 특징을 이용할 수 있게 한다.

Description

다중 입력 모드에 대한 입력 모드 통지
본 발명은 다중 입력 모드에 대한 입력 모드 통지를 활성화하는 기술과 시스템에 관한 발명이다.
전자 디바이스들은 정기적으로 비즈니스와 개인적인 용도 둘다를 위해 이용되고 있다. 사용자들은 음성 및 터치를 통해 전자 디바이스들과 소통하고, 전자 디바이스들을 가상 비서처럼 취급하여 미팅 및 이벤트를 예약하고, 디지털 미디어를 소비하며, 그리고 프레젠테이션 및 문서를 공유한다. 효과적인 커뮤니케이션의 중요한 부분 중 하나는 메시지가 수신되었음을 사용자가 알 수 있도록 하는 피드백이다. 많은 기존의 전자 디바이스는 사용자가 터치 입력을 하거나 음성 명령을 말할 때, 비프음 또는 진동과 같은 오디오 혹은 물리적 피드백을 제공한다. 이러한 피드백은 사용자의 입력이 수신되었다는 확신을 사용자에게 제공하거나, 입력이 실패했음을 사용자에게 알려준다. 또한, 일부 전자 디바이스는 사용자에게 터치 또는 음성 입력 모드에 어떻게 액세스하는지를 알려주는 키보드 또는 마이크 아이콘과 같이, 사용자에게 입력 방법을 알려주는 마커들을 제공한다.
머신 러닝 기술들을 이용하여, 전자 디바이스는 사용자의 루틴 및 선호 사항들에 친숙해 질 수 있고, 아마도 사용자에 의해 선호되는 모드에서 동작할 수 있다. 그러나, 이러한 모든 컴퓨팅 성능과 인공 지능에 대해, 이들 디바이스들은 여전히 반응형 커뮤니케이터이다. 즉, 스마트폰이 아무리 "스마트"하더라도, 또한 마치 사람인 것처럼 사용자가 스마트폰에게 이야기하더라도, 전자 디바이스는 임의의 피드백을 제공할 수 있기 전에, 여전히 활성화되어야 한다. 모바일 디바이스를 활성화하기 위하여, 일반적으로 사용자는 먼저 디바이스를 들어올려서(pick up), 전자 디바이스를 사용하려는 사용자의 의도를 디바이스에게 알려야 한다. 오직 이러한 물리적 상호작용 이후에만 사용자는 디바이스에서 어플리케이션 및 기능을 사용할 수 있다. 결과적으로, 많은 전자 디바이스는 사용자에 의한 명시적인 상호작용 이전에는 열악한 사용자 경험을 제공한다.
본 문서는 다중 입력 모드에 대한 입력 모드 통지를 가능케하는 기술들 및 시스템들을 설명한다. 이러한 기술들 및 시스템들은 전자 디바이스가 전자 디바이스 근처의 사용자의 존재 혹은 부존재를 정확하게 결정할 수 있도록 레이더 필드를 사용한다. 또한, 전자 디바이스는 레이더 기반의 3차원 제스처(레이더 제스처)를 통해 입력을 수신할 수 있는 어플리케이션이 전자 디바이스에서 동작하는지의 여부를 결정할 수 있다. 이러한 기술을 사용하여 전자 디바이스는 사용자가 가까이 있을 때 전자 디바이스의 디스플레이 상에 입력 모드 통지를 제시할 수 있다. 이것은 전자 디바이스와 상호작용하기 위하여 레이더 제스처 입력이 이용가능함을 사용자에게 알릴 수 있다. 이것은 디바이스가 사용자에게 피드백을 제공할 수 있게 하여, 전자 디바이스가 무엇을 할 수 있는지에 대해 사용자를 교육할 수 있고, 레이더 제스처의 가용성에 의해 제공되는 추가적인 기능들 및 피처들을 사용자가 활용할 수 있게 한다.
서술된 본 발명의 양상들은 전자 디바이스를 포함하고, 전자 디바이스는 디스플레이, 레이더 시스템, 하나 이상의 컴퓨터 프로세서, 및 하나 이상의 컴퓨터 판독가능 매체를 포함한다. 레이더 시스템은 적어도 부분적으로 하드웨어로 구현되고 레이더 필드를 제공한다. 레이더 시스템은 또한, 레이더 필드 내의 사용자로부터의 반사를 감지하고, 레이더 필드 내의 사용자로부터의 반사를 분석하고, 반사의 분석에 기초하여 레이더 데이터를 제공한다. 하나 이상의 컴퓨터 판독가능 매체는 레이더 기반 입력 모드 가용성 관리자를 구현하도록 하나 이상의 컴퓨터 프로세서에 의해 실행될 수 있는 저장된 명령들을 포함한다. 레이더 기반 입력 모드 가용성 관리자는 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는지를 결정한다. 레이더 기반 입력 모드 가용성 관리자는 또한, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정한다. 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 가지며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 레이더 기반 입력 모드 가용성 관리자는 디스플레이로 하여금 입력 모드를 통지를 제시하게 하며, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련된다.
서술된 본 발명의 양상들은 또한, 디스플레이와 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법을 포함한다. 상기 방법은 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는지를 결정하는 단계를 포함하고, 레이더 제스처 입력은 레이더 시스템에 의해 생성된 레이더 데이터에 의해 정의된다. 상기 방법은 또한, 레이더 데이터의 하나 이상의 서브세트에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 단계를 포함한다. 상기 방법은 또한, 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 가지며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 전자 디바이스의 디스플레이 상에 입력 모드 통지를 제공하는 단계를 포함하고, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련된다.
후술되는 본 발명의 양상들은 디스플레이 및 전자 디바이스를 포함하는 시스템을 포함하고, 전자 디바이스는 레이더 데이터를 제공하는 레이더 필드를 제공하기 위한 수단을 포함하거나 이와 관련되며, 레이더 데이터는 레이더 필드 내에 객체로부터의 반사들을 감지 및 분석하는 것에 기초한다. 시스템은 또한, 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는지를 결정하는 수단을 포함한다. 시스템은 또한, 레이더 데이터의 하나 이상의 서브세트에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 수단을 포함한다. 시스템은 또한, 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 가지며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 전자 디바이스의 디스플레이 상에 입력 모드 통지를 제공하는 수단을 포함하고, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련된다.
본 섹션은 발명의 상세한 설명 및 도면들에서 후술되는, 다중 입력 모드에 대한 입력 모드 통지에 관한 단순화된 개념들을 소개하기 위해 제공된다. 본 섹션은 청구된 본 발명의 주제의 필수적인 피처들을 식별하기 위한 것이 아니며, 청구된 본 발명의 주제의 범위를 결정하는데 사용하기 위한 것도 아니다.
다중 입력 모드에 대한 입력 모드 통지의 하나 이상의 양상들의 세부 내용은 다음의 도면들을 참조하여 본 문서에서 기술된다. 도면 전체에 걸쳐 동일한 번호는 동일한 기능 및 구성요소를 참조하는데 사용된다.
도 1은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는 기술이 구현될 수 있는 예시적인 환경을 도시한다.
도 2는 다중 입력 모드에 대한 입력 모드 통지를 구현할 수 있는 레이더 시스템을 포함하는 전자 디바이스의 예시적인 구현을 도시한다.
도 3은 도 1 내지 도 3의 레이더 시스템의 예시적인 구현을 도시한다.
도 4는 도 3의 레이더 시스템을 위한 수신 안테나 요소의 예시적인 구성을 도시한다.
도 5는 도 1 및 도 2의 레이더 시스템의 예시적인 구현의 추가적인 세부사항을 도시한다.
도 6은 도 1 및 도 2의 레이더 시스템에 의해 구현될 수 있는 예시적인 방식을 도시한다.
도 7은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는 예시적인 방법을 도시한다.
도 8 내지 도 13은 제스처-가입(gesture-subscribed) 어플리케이션이 전자 디바이스에서 실행될 때 도 1 및 도 2의 전자 디바이스의 디스플레이 상에 제시될 수 있는, 입력 모드 통지를 포함하는 시각적 요소를 도시한다.
도 14 내지 도 16은 다양한 모드에서 디스플레이에 표시될 수 있는 시각적 요소의 일례와 함께 다중 모드에서 동작하는 도 1 및 2의 전자 디바이스를 도시한다.
도 17은 다중 입력 모드에 대한 입력 모드 통지를 구현하거나 이를 가능하게 하는 기술이 구현될 수 있는 도 1 내지 도 16을 참조하여 설명된 바와 같은 임의의 유형의 클라이언트, 서버, 및/또는 전자 디바이스로서 구현될 수 있는 예시적인 컴퓨팅 시스템을 도시한다.
개관(Overview)
본 명세서는 다중 입력 모드에 대한 입력 모드 통지를 가능하게하는 기술 및 시스템을 설명한다. 언급한 바와 같이, 효과적인 커뮤니케이션은 언제 메시지를 보냈거나 받은지를 사용자가 알 수 있도록 하는 피드백을 포함한다. 전자 디바이스와의 상호작용인 통신의 맥락에서, 이것은 어떤 상호 작용 모드가 사용가능한지를 이해하는 것도 포함할 수 있다. 사용자의 인식이 없는 경우, 전자 디바이스는 리소스를 낭비할 수 있는 피드백을 항상 제공하거나, 또는 사용자가 명시적으로 참여(engage)한 이후에는, 이것은 사용자의 경험에 부정적인 영향을 줄 수 있다.
설명된 기술은 사용자의 존재(또는 부재) 및 전자 디바이스에 대한 위치를 결정할 수 있는 레이더 시스템을 채용한다. 전자 디바이스는 또한 레이더 기반 3차원(3D) 제스처(레이더 제스처)를 통해 입력을 수신할 수 있는 어플리케이션을 디바이스가 언제 실행하고 있는지를 결정할 수 있다. "3차원"이라는 용어는 전자 디바이스로부터 이격된 공간에서 제스처의 특성을 나타낸다(예컨대, 레이더 제스처는 사용자가 디바이스를 만질 필요가 없지만 레이더 시스템에 의해 탐지되는 디바이스의 임계 거리 내에 있어야 한다). 레이더 제스처 자체는 평면에서 왼쪽 위에서 오른쪽 아래로 스와이프하는 것으로 구성된 레이더 제스처와 같이, 2차원에 있는 활성 정보 컴포넌트를 가질 수 있지만, 레이더 제스처는 또한 전자 디바이스로부터의 거리를 갖기 때문에("제3" 차원), 본 명세서에서 논의되는 레이더 제스처는 일반적으로 3차원으로 간주될 수 있다.
이러한 기술을 사용하여, 상기 전자 디바이스는 이용가능한 레이더 제스처 입력 모드를 사용자가 인식하도록 하는 피드백 및 통지를 제공할 수 있으며, 일부 경우, 레이더 제스처 입력의 사용 및 결과에 대한 피드백을 제공할 수 있다. 사용자의 존재, 부존재 및 위치에 대한 결정은, 보다 응답적이고 보다 효율적인 인증 프로세스를 제공하는데 이용될 수 있다. 예를 들어, 상기 기술을 통해 디바이스는 사용자가 인증될 준비가 된 시기를 예상할 수 있으며, 그리고 사용자가 멀리 있을 때 디바이스를 잠글 시기를 보다 정확하게 결정할 수 있다. 설명된 기술을 통해 전자 디바이스는 사용가능한 입력 모드에 대한 유용한 피드백을 사용자에게 제공할 수 있으므로, 사용자가 입력 모드를 인식하고 그리고 디바이스가 상호작용하고 및 입력을 수신할 수 있는 다양한 방식에 대해 확신할 수 있기 때문에, 상호작용이 보다 편리하고 덜 답답할 수 있다.
상술한 레이더 시스템 및 다른 구성요소들을 포함하는 스마트폰을 고려하자. 본 일례에서, 레이더 제스처를 통해 입력을 수신할 수 있는 어플리케이션이 전자 디바이스에서 작동하고 있다. 이러한 유형의 어플리케이션은 레이더-제스처-가입(radar-gesture-subscribed) 어플리케이션 또는 제스처 가입 어플리케이션이라고 한다. 제스처 가입 어플리케이션의 일례들은 음악 플레이어, 미디어 플레이어, 및 캘린더와 같은 알람 또는 리마인더를 제공하는 전자 디바이스의 어플리케이션 또는 피처들을 포함한다. 입력 모드 가용성 관리자(input-mode availability manager)는 사용자가 가까이 있을 때 전자 디바이스로 하여금 디바이스의 디스플레이에 입력 모드 통지를 제시하게 한다. 예를 들어, 입력 모드 가용성 관리자는 레이더 데이터를 사용하여 사용자가 전자 디바이스로부터 임계 거리 내에 있는지 결정할 수 있다. 임계 거리는 1, 3, 5 또는 7 피트 이내와 같이, 레이더 시스템이 사용자를 인식할 수 있는 임의의 적절한 거리일 수 있다.
입력 모드 통지는 사용자가 인지가능한 요소이며(전자 디바이스의 디스플레이 상에 표시되는 시각적 요소와 같이), 레이더 제스처에 의해 입력을 수신하는 어플리케이션의 가용성을 나타낸다. 예를 들어, 제스처 가입 어플리케이션이 전자 디바이스에서 실행 중일 때, 디스플레이는 아이콘, 대조되는 조명 영역(예컨대, 주변 영역보다 밝거나 어두운 영역), 또는 상이하거나 또는 대조되는 컬러의 영역을 표시할 수 있다. 일부 경우, 입력 모드 통지는 이러한 기능들 중 하나 이상의 조합일 수 있다. 따라서, 본 일례에서, 사용자가 가까이 있는 동안 제스처 가입 어플리케이션이 실행되고 있다고 전자 디바이스가 결정하는 경우, 조명된 라인이 디스플레이의 상단 에지에 나타날 수 있으며 그 다음 약간 어두워지고 디스플레이 상단에 남아 있을 수 있다.
설명된 기술 및 시스템은, 다른 기능들과 함께, 레이더 시스템을 채용하며,이는 사용자의 존재 또는 부재와 전자 디바이스 상에서의 제스처 가입 어플리케이션의 동작에 기초하여 변화하는, 유용하면서 가치있는 사용자 경험을 제공할 수 있다. 사용자의 지식 및 명시적 사용자 입력에만 오직 의존하는 대신, 전자 디바이스는 디바이스가 사용자의 위치를 인식하고 있으며 사용가능한 피처들 및 기능에 대해 사용자에게 경고한다는 것을 나타내기 위해 사용자에게 피드백을 제공할 수 있다.
몇몇 종래의 전자 디바이스는, 사용자의 위치를 결정하고, 사용자의 근접성에 기초하여 전자 디바이스의 다양한 기능을 조절하기 위해 카메라, 근접 센서(가령, 용량성 또는 적외선 센서) 또는 가속도계와 같은 센서들을 포함할 수 있다. 예를 들어, 전자 디바이스는 사용자가 일정 거리 내에 있지 않는 한 디스플레이를 턴오프함으로써, 추가적인 프라이버시 또는 심미적(aesthetic) 가치를 제공할 수 있다. 하지만, 종래의 전자 디바이스는 전자 디바이스의 능력들에 대해 사용자를 교육할 수 있는 유용하면서도 풍부한 주변 경험을 제공할 수 없는 것이 일반적이다. 이들은, 본 명세서에 설명된 기술 및 디바이스가 다중 입력 모드에 대한 입력 모드 통지를 활성화하는데 어떻게 사용될 수 있는지에 대한 몇 가지 일례에 불과하다. 본 명세서 전체에 걸쳐 다른 일례들과 구현예들이 설명되어 있다. 이제 이 문서는 예시적인 동작 환경에 대해 설명할 것이며, 그 후에 예시적인 디바이스, 방법 및 시스템이 설명된다.
동작 환경
도 1은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는 기술이 구현될 수 있는 예시적인 환경(100)을 도시한다. 예시적인 환경(100)은 전자 디바이스(102)를 포함하며, 전자 디바이스(102)는 레이더 시스템(104), 지속적 레이더 기반 입력 모드 가용성 관리자(106)(IMA 관리자 106), 및 선택적으로 하나 이상의 비-레이더 센서(108)(비-레이더 센서 108)를 포함하거나 이와 관련된다. 레이더 시스템(104) 또는 IMA 관리자(106)와 관련하여 "지속적(persistent)"이라는 용어는, 레이더 시스템(104)(휴면 모드, 연계 모드(engaged mode), 또는 활성 모드와 같은 다양한 모드에서 동작 가능함) 또는 IMA 관리자(106)를 활성화시키기 위해 사용자 상호작용이 요구되지 않음을 의미한다. 일부 구현예에서 "지속적" 상태는 일시 중지되거나 턴오프될 수 있다(예를 들어, 사용자에 의해). 다른 구현들에서, "지속적" 상태는 전자 디바이스(102)(또는 다른 전자 디바이스)의 하나 이상의 파라미터들에 따라 스케줄링되거나 달리 관리될 수 있다. 예를 들어, 사용자는 전자 디바이스(102)가 밤과 낮 모두에 켜져 있음에도 불구하고 낮 시간 동안에만 "지속적인" 상태가 작동하도록 "지속적인" 상태를 스케줄링할 수 있다. 비-레이더 센서(108)는 오디오 센서(예를 들어, 마이크로폰), 터치 입력 센서(예를 들어, 터치스크린), 또는 이미지 캡처 디바이스(예를 들어, 카메라 또는 비디오 카메라)와 같은 다양한 디바이스들 중 임의의 것일 수 있다.
예시적인 환경(100)에서, 상기 레이더 시스템(104)은 도 3-6을 참조하여 후술하는 바와 같이 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(110)를 제공한다. 레이더 필드(110)는 레이더 시스템(104)이 레이더 신호 및 파형의 반사를 검출할 수 있는 공간의 체적이다(예를 들어, 상기 체적의 공간 내의 객체들로부터 반사된 레이더 신호 및 파형). 레이더 필드(110)는 구, 반구, 타원체, 원뿔, 하나 이상의 로브들 또는 비대칭 형상들(예를 들어, 레이더가 통과할 수 없는 차단물의 어느 일측 상의 영역을 커버할 수 있음)과 같은 다양한 형상들로 구성될 수 있다. 레이더 시스템(104)은 또한 전자 디바이스(102) 또는 다른 전자 디바이스가 레이더 필드(110)에 있는 객체로부터의 반사들을 감지 및 분석할 수 있게한다. 레이더 시스템(104)의 일부 구현예들은, 저전력의 필요성, 프로세싱 효율의 필요성, 안테나 소자의 공간 및 레이아웃의 제한 및 기타 문제점들과 같은 문제들이 대두되는 전자 디바이스(102)와 같은 스마트폰의 맥락에서 적용될 때 특히 유리하며, 미세한 손 제츠처에 대한 레이더 검출이 요망하는 스마트폰의 맥락에서 더욱 유리하다. 비록, 상기 구현예들은 미세한 레이더 검출 손 제스처가 요구되는 스마트폰의 설명된 맥락에서 특히 유리하지만, 본 발명의 피처들 및 장점의 적용가능성은 반드시 그렇게만 제한되는 것은 아니며, 다른 유형의 전자 디바이스(예를 들어, 도 2를 참조하여 설명된 바와 같은)를 포함하는 다른 구현예들도 본 발명의 범위에 속함을 이해해야 한다.
객체는 가령, 목재, 플라스틱, 금속, 섬유, 인간의 몸, 또는 인간의 신체 부위(예를 들어, 전자 디바이스(102)의 사용자의 발, 손, 또는 손가락)와 같이, 레이더 시스템(104)이 레이더 반사들을 감지 및 분석할 수 있는 임의의 다양한 객체일 수 있다. 도 1에 도시된 바와 같이, 객체는 전자 디바이스(102)의 사용자(112)이다. 반사에 대한 분석에 기초하여, 레이더 시스템(104)은 도 3-6을 참조하여 설명된 바와 같이, 레이더 필드(110) 및 사용자(112)로부터의 반사와 관련된 다양한 유형의 정보를 포함하는 레이더 데이터를 제공할 수 있다(예를 들어, 레이더 시스템(104)은 레이더 데이터를 IMA 관리자(106)와 같은 다른 엔티티에 전달할 수 있음).
다음을 유의해야 하는바, 레이더 데이터는 레이더 필드(110) 내의 사용자(112)로부터의 감지된 및 분석된 반사들에 기초하여, 시간이 지남에 따라 연속적으로 또는 주기적으로 제공될 수 있다. 사용자(112)의 위치는 시간에 지남에 따라 걸쳐 변할 수 있으며(예를 들어, 사용자 112는 레이더 필드(110) 내에서 이동할 수 있음), 따라서 레이더 데이터는 변경된 위치들, 반사들 및 분석들에 대응하여 시간에 따라 변할 수 있다. 레이더 데이터가 시간에 따라 변할 수 있기 때문에, 레이더 시스템(104)은 상이한 시간 기간들에 대응하는 레이더 데이터의 하나 이상의 서브세트를 포함하는 레이더 데이터를 제공할 수 있다. 예를 들어, 레이더 시스템(104)은 제 1 시간 기간에 대응하는 제 1 서브세트의 레이더 데이터, 제 2 시간 기간에 대응하는 제 2 서브세트의 레이더 데이터, 기타 등등을 제공할 수 있다. 일부 경우에, 상이한 서브세트들의 레이더 데이터는 전체적으로 또는 부분적으로 겹칠 수 있다(예를 들어, 한 서브세트의 레이더 데이터는 다른 서브세트와 일부 또는 거의 동일한 데이터 모두를 포함할 수 있다).
전자 디바이스(102)는 또한 디스플레이(114) 및 어플리케이션 관리자(116) 포함할 수 있다. 디스플레이(114)는 터치 스크린, 액정 디스플레이(LCD), 박막 트랜지스터(TFT) LCD, 인-플레이스 스위칭(In-Place Switching: IPS) LCD, 정전용량식 터치스크린 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 액티브 매트릭스 유기 발광 다이오드(AMOLED) 디스플레이, 슈퍼 AMOLED 디스플레이, 기타 등등과 같은 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 디스플레이(114)는 전자 디바이스(102)의 다양한 모드와 연관된 시각적 요소를 디스플레이하는데 사용되며, 이는 도 10-16을 참조하여 본 명세서에서 더 상세히 설명된다. 어플리케이션 관리자(116)는 전자 디바이스(102) 상에서 동작하는 어플리케이션들과 통신 및 상호작용하여 어플리케이션들 간의 충돌(예를 들어, 프로세서 리소스 사용, 전력 사용, 또는 전자 디바이스(102)의 다른 컴포넌트들에 대한 액세스)을 판정하고 이를 해결할 수 있다. 어플리케이션 관리자(116)는 또한 어플리케이션과 상호작용하여 터치, 음성 또는 레이더 제스처와 같은 어플리케이션의 이용가능한 입력 모드를 결정하고, 이용가능한 모드를 IMA 관리자(106)에 전달할 수 있다.
IMA 관리자(106)는 전자 디바이스(102)의 다양한 컴포넌트들(예를 들어, 모듈, 관리자, 시스템, 인터페이스, 또는 하나 이상의 비-레이더 센서 108)과 상호작용하거나 이들을 제어하는데 사용될 수 있다. 예를 들어, IMA 관리자(106)는(독립적으로 또는 어플리케이션 관리자(116)를 통해) 전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력(예를 들어, 제스처-가입 어플리케이션)을 수신하는 능력을 갖는다고 결정할 수 있다. 레이더 제스처 입력은 레이더 데이터에 기초하고 레이더 시스템(104)을 통해 수신될 수 있다. IMA 관리자(106) 또는 레이더 시스템(104)은 또한 레이더 데이터를 사용하여 사용자(112)가 전자 디바이스(102) 근처에 있다는 것을 결정할 수 있다. 예를 들어, IMA 관리자(106)는 사용자(112)가 전자 디바이스(102)로부터 1, 3, 5, 또는 7피트 이내 또는 인식 영역 내에 있는 것과 같이, 전자 디바이스(102)의 임계 거리 내에 있다고 결정할 수 있다.
인식 영역은 대략 3, 7, 10 또는 14 피트(또는 대략 1, 2, 3, 또는 4 미터)와 같이, 레이더 시스템(104)으로부터 임의의 다양한 거리만큼 연장될 수 있는 레이더 시스템(104) 주위의 영역이다. 인식 영역은 레이더 필드(110)의 최대 범위와 같거나 작을수 있다. 인식 영역은 미리 정의되거나, 사용자가 선택할 수 있거나, 다른 방법(예를 들어, 전력 요구 사항, 남은 배터리 수명 또는 다른 요인에 기초하여)을 통해 결정될 수 있는 정적인(static) 사이즈 혹은 형태일 수 있다. 일부 경우에, 인식 영역은 전자 디바이스(102)의 속도 또는 위치, 시간, 전자 디바이스(102)에서 실행 중인 어플리케이션의 상태, 또는 다른 요인과 같은 요인들에 기초하여 IMA 관리자(106)에 의해 동적 및 자동으로 조정될 수 있다. 임계 거리 또는 인식 영역은 배터리 레벨, 전자 디바이스의 위치, 전자 디바이스의 속도, 또는 레이더 시스템, 기타 센서 또는 전자 디바이스에서 실행되는 어플리케이션 중 하나 이상으로부터 수신된 데이터와 같은 여러 관련 요인들에 기초하여 결정될 수 있다.
제스처 가입 어플리케이션이 전자 디바이스에서 동작중이며 그리고 사용자가 전자 디바이스(102) 근처에 있다고 IMA 관리자(106)가 결정하면, IMA 관리자(106)는 디스플레이(114)로 하여금 입력 모드 통지(118)를 제시하게 할 수 있으며, 입력 모드 통지(118)는 레이더 제스처 입력을 수신하는 기능과 관련이 있다. 입력 모드 통지(118)는 사용자(112)가 제스처 가입 어플리케이션과 상호작용하기 위해 레이더 제스처를 사용할 수 있음을 나타내는, 디스플레이(114)의 활성 영역에 나타나는 시각적 요소와 같은 사용자가 인지가능한 요소이다. 또한, 입력 모드 통지(118)는, 디스플레이 상에 있지않은 조명 요소(예컨대, 전자 디바이스의 하우징 또는 베젤에 장착된 발광 다이오드(LED) 또는 LED 어레이), 햅틱 요소(예컨대, 진동 소자) 및/또는 오디오 요소(예컨대, 사용자가 인지할 수 있는 사운드)이거나 이를 포함할 수 있다. 입력 모드 통지(118)는 디스플레이(114)의 가장자리를 따라 제시될 수 있고 그리고 다양한 모양, 크기, 컬러, 및 기타 시각적 파라미터 또는 속성 중 임의의 것을 가질 수 있다. 다른 시각적 파라미터들 또는 속성들의 일례들은 광도(luminosity), 컬러, 콘트라스트, 형상, 채도, 흐림(blur) 또는 불투명도를 포함할 수 있다. 일부 경우에, 시각적 요소는, 디스플레이(114)의 광도 또는 다른 시각적 속성과 다른 광도 또는 다른 시각적 속성을 갖고, 디스플레이(114)의 활성 영역의 에지에 평행하거나 및/또는 인접한 측면을 가지며, 디스플레이의 활성 영역의 에지로부터 연장된 형태를 갖는, 디스플레이(114)의 활성 영역의 일부분일 수 있다. 광도는 사람이 객체에 대해 인지하는 밝기를 지칭한다. 광도(luminosity)를 수정하는 것은 휘도(luminance)(예를 들어, 밝기(brightness)), 콘트라스트, 및/또는 불투명도를 수정하는 것을 포함할 수 있다. 이들 예들 중 일부는 입력 모드 통지(118)가 디스플레이(114)의 에지에 제시되는 것을 설명하지만, 입력 모드 통지(118)는 디스플레이(114) 상의 에지가 아닌 위치에 제시될 수 있다. 예를 들어, 디스플레이(114)의 에지는 디스플레이(114)의 활성 영역의 경계(boder)에서 시작하여 디스플레이(114)의 경계의 총 길이의 대략 15 퍼센트 이하 만큼 경계로부터 거리가 연장되는 영역을 포함할 수 있다.
도 1에 예시된 일례를 고려하자. 상세도(100-1)는 비어있는(blank) 예시적인 디스플레이(114-1)를 도시한다. 이 예에서, 비어있는 디스플레이(114-1)는 사용자(112)가 전자 디바이스(102) 근처에 있지 않으며 및/또는 제스처-가입 어플리케이션이 전자 디바이스(102) 상에서 동작하고 있지 않다고 IMA 관리자(106)가 결정했음을 나타낸다. 다른 상세도(100-2)는 입력 모드 통지(118)가 제시되는 다른 예시적인 디스플레이(114-2)를 도시한다. 입력 모드 통지(118)의 표시는, 사용자(112)가 전자 디바이스(102)의 근처에 있으며(예를 들어, 사용자(112)가 레이더 필드(110) 내에 있고 IMA 관리자(106)는 레이더 데이터의 하나 이상의 서브세트를 사용하여 사용자(112)가 전자 디바이스(102)의 임계 거리 내에 있다고 결정함), 그리고 적어도 하나의 제스처 가입 어플리케이션이 전자 디바이스(102) 상에서 동작하고 있다라고 IMA 관리자(106)가 결정했음을 나타낸다. 본 실시예에서, 입력 모드 통지(118)는 전자 디바이스(102)의 상단(top) 에지에 위치하는 라인이다. 다른 구현예에서, 입력 모드 통지(118)가 다른 크기, 다른 형상일 수 있으며, 또는 다른 위치에 표시될 수 있다. 입력 모드 통지(118)의 추가적인 세부사항 및 예는 도 8-13을 참조하여 설명된다.
일부 구현예에서, 입력 모드 통지(118)의 광도(또는 다른 시각적 파라미터)는 디스플레이(114)의 활성 영역의 에지로부터 거리를 가로질러 형상이 연장됨에 따라 변할 수 있다(예컨대, 디스플레이 114의 에지에서의 최대 광도는 에지로부터 멀어지게 형상이 연장됨에 따라 감소함). 예를 들어, 입력 모드 통지(118)는, 디스플레이(114)의 다른 영역(예를 들어, 입력 모드 통지(118)을 둘러싸거나 가까운 영역)과는 다른 광도를 가지며 그리고 디스플레이(114)의 에지에 인접한, 디스플레이(114)의 미리 결정된 영역으로서 제시될 수 있다. 다른 예에서, 입력 모드 통지(118)는 디스플레이(114)와 상이한 광도를 갖고 디스플레이(114)의 에지에 인접한, 미리 결정된 두께를 갖는 라인으로 제시될 수 있다.
입력 모드 통지(118)의 컬러는, 입력 모드 통지(118)가 제공되는 디스플레이(114)의 백그라운드와 시각적으로 구별될 수 있는 임의의 적합한 컬러일 수 있다. 입력 모드 통지(118)의 컬러는 전자 디바이스(102)의 동작 상태 또는 디스플레이(114)의 주변 배경 컬러와 같은 다양한 요인들 중 임의의 것에 기초하여 변경될 수 있다. 일부 구현들에서, IMA 관리자(106)는 입력 모드 통지(118)가 디스플레이되거나 또는 디스플레이될 디스플레이(114) 영역의 배경 컬러를 결정할 수 있다. 배경 컬러를 결정하는 것에 응답하여, IMA 관리자(106)는 디스플레이(114)로 하여금 배경 컬러과 다른 다른 컬러로 입력 모드 통지(118)를 제시하게할 수 있다. 입력 모드 통지(118)의 다른 컬러는, 입력 모드 통지(118)와 배경 컬러 사이에서 인간이 인지가능한 콘트라스트를 제공할 수 있으므로, 사용자(112)는 입력 모드 통지(118)를 더욱 쉽게 볼수 있다. 일부 경우, IMA 관리자(106)는 배경 컬러에 대한 변경에 기초하여 입력 모드 통지(118)의 컬러을 지속적으로 자동으로 동적으로 조정할 수 있다.
입력 모드 통지(118)는, 일부 구현예에서, 짧은 애니메이션으로, 적어도 부분적으로 나타날 수 있다. 예를 들어, 입력 모드 통지(118)는 활성 디스플레이의 에지에 나타난 다음, 디폴트 모양(default appearance)을 갖추기 전에 커지거나 줄어들 수 있다. 유사하게, 컬러, 광도 또는 형상은 디폴트 모양을 취하기 전에 입력 모드 통지(118)이 나타나거나 또는 사라짐에 따라 변경될 수 있다(예를 들어, 제스처 가입 어플리케이션이 작동을 중지하는 경우).
일부 경우, 상기 입력 모드 통지(118)는 디스플레이(114)의 영역에 나타나는 요소가 아니라, 디스플레이(114)에 나타나는 이미지일 수 있다. 상기 이미지는, 광도, 컬러, 콘트라스트, 형상, 채도, 번짐(blur), 불투명도, 기타 등등과 같이, 디스플레이(114)의 주변 배경의 파라미터 또는 속성과 상이한 시각적 파라미터 또는 속성을 가질 수 있다. 다른 경우, 주변 배경은 이미지일 수 있고, 입력 모드 통지(118)는 광도, 컬러, 콘트라스트, 형상, 채도, 번짐, 불투명도 등과 같은 다른 시각적 파라미터를 갖는 동일한 이미지이다. 이러한 방식으로, 입력 모드 통지(118)는 전자 디바이스(102)와 상호작용하기 위해 레이더 제스처가 이용가능한 모드에서 상기 전자 디바이스(102)가 동작하고 있음을 사용자에게 통신함으로써, 사용자의 경험을 개선할 수 있다.
일부 구현예에서, 입력 모드 통지(118)의 위치는 디스플레이(114) 상의 콘텐츠의 방향에 기초하여 결정될 수 있다. 예를 들어, IMA 관리자(106)는 어플리케이션 관리자(116)로부터(또는 다른 소스로부터), 디스플레이(114) 상의 콘텐츠의 방향을 획득할 수 있다. 또한, IMA 관리자(106)는 콘텐츠의 방향에 기초하여, 콘텐츠와 상호작용하기 위해 사용될 수 있는 레이더 제스처 입력의 방향을 결정할 수 있다. 레이더 제스처 입력의 방향에 기초하여, IMA 관리자(106)는 디스플레이로 하여금, 레이더 제스처 입력의 방향에 대응하는 디스플레이(114)의 활성 영역의 특정 에지에서 입력 모드 통지(118)을 제시하게 할 수 있다. 따라서, 디스플레이된 콘텐츠의 컨텍스트가 수평인 경우(예컨대, 레이더 제스처의 방향이 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽일 가능성이 있음), 레이더 제스처가 수평임을 사용자에게 알리는데 도움이 되도록, 입력 모드 통지(118)는 상단 에지 또는 하단 에지에 디스플레이된다, 유사하게, 디스플레이된 콘텐츠의 컨텍스트가 수직인 경우(예를 들어, 레이더 제스처의 방향은 아래에서 위로 또는 위에서 아래로일 가능성이 있음), 레이더 제스처가 수직임을 사용자에게 알리는데 도움이 되도록, 입력 모드 통지(118)는 사이드 에지에 디스플레이된다.
또한, IMA 관리자(106)는 사용자(112)에 대한 전자 디바이스(102)의 방향의 변화를 검출할 수 있다, 예를 들어, 사용자(112)는 비디오를 시청하기 위하여 수직 방향에서 수평 방향으로 디바이스를 회전하거나 또는 기사를 읽기 위하여 수평 방향에서 수직 방향으로 디바이스를 회전시킬 수 있다. 방향의 변경에 기초하여, IMA 관리자(106)는 디스플레이(114)로 하여금 활성 디스플레이의 상이한 에지 상에 입력 모드 통지(118)를 제시하게할 수 있다. 이러한 상이한 에지는 사용자(112)에 대한 입력 모드 통지(118)의 방향 및 위치를 유지할 수 있다(예를 들어, 입력 모드 통지(118)는 디바이스에 대한 사용자의 방향이 변경됨에 따라 이동되거나 재배치된다). 따라서, 입력 모드 통지(118)가 디스플레이(114)의 상단 에지에 위치하고 사용자(112)가 전자 디바이스(102)를 회전시키는 경우, 입력 모드 통지(118)의 위치는 사용자에 대하여 "상단(top)"을 유지하도록, 하나의 에지로부터 다른 하나의 에지로 변경된다. 언급된 바와 같이, IMA 관리자(106)는 또한 콘텐츠의 방향을 고려하며, 이러한 피처들은 서로 함께 사용되어, 디스플레이(114) 상의 콘텐츠의 방향 및 사용자(112)에 대한 디스플레이(114)의 방향 둘다에 적합한 위치에서 디스플레이(114) 상에 입력 모드 통지(118)을 제시할 수 있다.
일부 구현예에서, IMA 관리자(106)는 전자 디바이스(102) 상에서 동작하는 제스처 가입 어플리케이션이 몰입 모드(immersive mode)(가령, 임의의 콘트롤들이 제공되지 않는 풀-스크린 모드)에서 동작하고 있다고 결정할 수 있다. 이러한 결정에 응답하여, IMA 관리자는 디스플레이(114)로 하여금 주기적으로 입력 모드 통지(118)을 제시하게할 수 있다. 예를 들어, 디스플레이(114)는 제시 시간 기간(presentation time duration) 동안 입력 모드 통지(118)를 제시할 수 있으며, 비제시 시간 기간(non-presentation time duration) 동안 입력 모드 통지(118)의 제시를 중단할 수 있다. 제시 시간 기간 및 비제시 시간 기간 둘다는 미리 결정되거나 선택될 수 있다. 일부 경우, 상기 시간 기간들은 사용자-선택가능하며(예컨대, 사용자(112)에 의해) 또는 몰입형 모드에서 실행되는 제스처 가입 어플리케이션의 유형(예를 들어, 게임 또는 스트리밍 미디어 플레이어), 제스처 가입 어플리케이션의 상태, 또는 사용자가 레이더 제스처를 사용하는 빈도와 같은 다양한 요인들에 기초하여 IMA 관리자(106)에 의해 선택될 수 있다.
일부 구현예에서, 사용자(112)가 레이더 제스처 이외의 입력(예를 들어, 터치, 음성 입력)을 사용하여 전자 디바이스(102)와 상호작용하는 경우, 입력 모드 통지(118)는 페이드되거나 또는 완전히 사라질 수 있다. 예를 들어, 제스처 가입 어플리케이션이 전자 디바이스(102)에서 작동하는 동안, 사용자는 터치 커맨드를 사용하여 다른 어플리케이션을 시작하거나, 파워 액추에이터를 누르거나, 잠금 컨트롤(또는 버튼)을 누르기로 결정할 수 있다. 이 경우, 입력 모드 통지(118)는 사용자가 전자 디바이스(102)를 들거나 디스플레이(114)를 터치하면 페이드되거나 사라질 수 있다. 사용자가 디스플레이(114)를 터치하는 것을 중단하거나 전자 디바이스(102)를 내려놓을 때, 하나 이상의 제스처 가입 어플리케이션이 전자 디바이스(102)에서 작동하는 경우, 입력 모드 통지(118)가 다시 나타난다(또는 밝아짐). 입력 모드 통지(118)는 터치 입력 또는 음성 입력이 종료될 때 또는 선택가능한 시간이 경과하면, 즉시 다시 나타나거나 밝아질 수 있다. 유사하게, 제스처 가입 어플리케이션이 경보 또는 통지를 제공하는 어플리케이션인 경우, 입력 모드 통지(118)는 캘린더 리마인더가 디스플레이될 때와 같이 경보 또는 통지가 디스플레이될 때 나타난다. 사용자(112)가 레이더 제스처를 이용하여 경보 또는 통지와 상호작용하는 경우(예컨대, 경보 또는 알림을 해제하거나 재설정함), 다른 제스처 가입 앱이 실행되고 있지 않는 한 입력 모드 통지(118)는 사라진다.
전자 디바이스(102)가 잠금 상태 또는 잠금해제 상태인 경우, 입력 모드 통지(118)가 제공될 수 있다. 예를 들어, 사용자가 근처에 있지만(예를 들어, 임계 거리 내) 인증되지 않은 경우, 또는 인증된 사용자가 근처에 있는 경우, 전자 디바이스(102)는 입력 모드 통지(118)를 제시할 수 있다(제스처 가입 어플리케이션이 실행중임을 나타내기 위해). 잠금 상태 및 잠금해제 상태는 전자 디바이스(102)에 대한 액세스 레벨을 나타낸다. 잠금 상태는 인증된 사용자가 없고 디바이스를 사용하는 임의의 사람이 전체 권한 미만 또는 전체 액세스권 미만을 갖는 상태이다(예컨대, 권한 또는 액세스권이 없거나, 제한된 권한 또는 액세스권을 갖는 경우). 잠금 상태의 일례는 본 명세서에 설명된 전자 디바이스(102)의 인식 모드(aware mode) 및 연계 모드(engaged mode)를 포함할 수 있다. 유사하게, 잠금해제 상태는 적어도 하나의 사용자가 인증되고 그리고 해당 사용자가 디바이스에 대한 모든 권한 및/또는 액세스 권한을 갖는 상태일 수 있다. 잠금해제 상태의 일례는 여기에 설명된 전자 디바이스(102)의 활성 모드이다. 몇몇 경우에, 잠금 또는 잠금해제 상태는 전자 디바이스(102)의 유형, 구성, 또는 상태(예컨대, 배터리 레벨 또는 연결 상태)에 따라 다양한 특징들을 가질 수 있다. 따라서, 상이한 디바이스들에 대한 혹은 상이한 환경들에서의 동일 디바이스에 대한 잠금 및 잠금해제 상태의 특징들은 이러한 요인들에 따라 중첩되거나 유사한 피처들을 포함할 수 있다.
추가적으로 또는 대안적으로, IMA 관리자(106)는 디스플레이(114)로 하여금, 전자 디바이스(102)의 동작 상태, 스크린 상태, 전원 상태, 또는 전자 디바이스(102)의 휴면 모드, 인식 모드, 연계 모드 또는 활성 모드와 같은 기능 모드에 기초하여 입력 모드 통지(118)를 제시하거나 제시하지 않게 할 수 있다. 예를 들어, 휴면 모드 또는 사용자가 전자 디바이스와 덜 자주 상호작용할 수 있는 다른 모드 또는 상태, 또는 입력 모드 통지(118)이 변경되거나 숨겨지지 않고 더 긴 기간 동안 제시될 모드 또는 상태에서는, 스크린 번-인(burn-in)의 위험성이 증가될 수 있다((예컨대, 빈번하지 않은 상호작용은 입력 모드 통지(118)가 동일한 장소에 남아 있다는 것을 의미하기 때문에 입력 모드 통지(118)가 제시되는 곳에 고스트 이미지를 남길 수 있음). 이러한 상황에서, 입력 모드 통지(118)는 시간이 지남에 따라 변하는 위치에 제공될 수 있다(예를 들어, 한 위치에서 장기간 동안 표시되는 것을 피하기 위해 시간이 지남에 따라 위치가 이동함).
일부 경우, 상기 입력 모드 통지(118)는 또한 또는 그 대신, 스크린 번-인을 방지하는데 도움이 될 수 있는 간격으로 제시 및 숨겨질 수 있다. 상기 간격은 1초, 3초, 5초 등과 같이 디스플레이의 유형에 대한 임의의 적절한 기간일 수 있다. 유사하게, 전자 디바이스(102)가 상이한 유형들 또는 모드들(예를 들어, 터치, 음성 및 레이더 제스처)의 빈번한 상호작용이 있는 모드 또는 상태인 경우, 입력 모드 통지(118)는 보다 긴 기간 동안 제시될 수 있는데, 왜냐하면 사용자의 상호작용으로 인하여 본질적으로 IMA 관리자(106)가 입력 모드 통지(118)를 보여주고 숨기기 때문에 스크린 번인의 위험이 적기 때문이다.
구체적으로, 도 2를 고려하면, 도 2는 다중 입력 모드에 대한 입력 모드 통지를 구현할 수 있는 전자 디바이스(102)(레이더 시스템(104), IMA 관리자(106), 비-레이더 센서(108), 디스플레이(114), 어플리케이션 관리자(116)를 포함함)의 예시적인 구현예(200)를 도시한다. 도 2의 전자 디바이스(102)는 스마트폰(102-1), 태블릿(102-2), 랩톱(102-3), 데스크탑 컴퓨터(102-4), 컴퓨팅 와치(102-5), 게임 시스템(102-6), 컴퓨팅 안경(102-7), 홈 자동화 및 제어 시스템(102-8), 스마트 냉장고(102-9), 및 자동차(102-10)를 포함하는 다양한 예시적인 디바이스들로 예시된다. 또한, 전자 디바이스(102)는 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 드론, 트랙 패드, 드로잉 패드, 넷북, e-리더, 홈 보안 시스템, 및 기타 가전 제품과 같은 다른 디바이스를 포함할 수 있다. 전자 디바이스(102)는 착용가능, 착용불가능하지만 이동가능하거나, 또는 상대적으로 움직이지 않을 수 있음(예를 들어, 데스크탑 및 가전제품)에 유의한다.
일부 구현예에서, 전자 디바이스(102)의 예시적인 전체 측면(lateral) 치수는 대략 8cm x(by) 15cm 이다. 레이더 시스템(104)의 예시적인 풋프린트는 안테나가 포함된 대략 4mm x 6mm와 같이 훨씬 더 제한될 수 있다. 레이더 시스템(104)에 대한 이러한 제한된 풋프린트에 대한 요구사항은, 전자 디바이스(102)의 많은 다른 바람직한 피처들(예를 들어, 지문 센서, 비-레이더 센서 108, 등)을 그러한 공간-제한된 패키지에서 수용하기 위한 것이다. 전력 제한 및 프로세싱 제한과 결합하여, 이러한 사이즈 요건은 레이더 제스처 검출의 정확도 및 효능에서 타협을 초래할 수 있으며, 그 중 적어도 일부는 본 명세서의 교시에 비추어 극복될 수 있다.
전자 디바이스(102)는 하나 이상의 컴퓨터 프로세서(202)와 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 판독가능 매체(204)를 포함한다. 컴퓨터 판독가능 매체(204) 상의 컴퓨터 판독가능 명령으로 구현된 어플리케이션 및/또는 운영 체제(미도시)는 컴퓨터 프로세서(202)에 의해 실행되어 여기에서 설명된 기능들의 일부 또는 전부를 제공할 수 있다. 예를 들어, 프로세서(202)는 레이더 기반 입력 모드 가용성 관리자(106) 및/또는 어플리케이션 관리자(116)를 구현하기 위해 컴퓨터 판독가능 매체(204) 상의 명령을 실행하는데 사용될 수 있다. 전자 디바이스(102)는 또한 네트워크 인터페이스(206)를 포함할 수 있다. 전자 디바이스(102)는 유선, 무선, 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(206)를 사용할 수 있다. 제한이 아닌 일례로서, 네트워크 인터페이스(206)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 통신망(PAN), 광역 네트워크(WAN), 인트라넷, 인터넷, 피어 투 피어 네트워크, 포인트 투 포인트 네트워크 또는 메시 네트워크를 통해 데이터를 통신할 수 있다.
레이더 시스템(104)의 다양한 구현예들은, 시스템 온 칩(SoC), 하나 이상의 집적 회로(IC), 프로세서 명령이 내장된 또는 메모리에 저장된 프로세서 명령에 액세스하도록 구성된 프로세서, 임베디드 펌웨어를 구비한 하드웨어, 다양한 하드웨어 컴포넌트를 구비한 인쇄 회로 기판 또는 이들의 임의의 조합을 포함할 수 있다. 레이더 시스템(104)은 그 자신의 레이더 신호를 송수신함으로써 모노스태틱(monostatic) 레이더로서 동작할 수 있다.
일부 구현예에서, 상기 레이더 시스템(104)은 또한 외부 환경에서 바이스태틱(bistatic) 레이더, 멀티스태틱 레이더 또는 네트워크 레이더를 구현하는 다른 레이더 시스템(104)과 협력할 수 있다. 그러나, 전자 디바이스(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 미칠수 있다. 전자 디바이스(102)는 예를 들어, 레이더를 작동하는데 사용가능한 제한된 전력, 제한된 계산 능력, 사이즈 제약, 레이아웃 제약, 레이더 신호를 감쇠 또는 왜곡하는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 도 3과 관련하여 아래에서 더 설명되는 바와 같이, 이러한 제약들이 존재하는 경우에도, 진보된 레이더 기능 및 고성능이 실현될 수 있게 하는 여러 피처들을 포함한다. 도 2와 관련하여 언급한 바와 같이, 레이더 시스템(104)과 IMA 관리자(106)는 전자 디바이스(102)의 일부로서 예시된다. 다른 구현예에서, 레이더 시스템(104)과 IMA 관리자(106) 중 어느 하나 또는 이들 둘다는 전자 디바이스(102)와 원격이거나 별개일 수 있다.
도 1의 엔티티들이 작동 및 상호작용하는 방식 뿐만 아니라 이들 및 기타 능력 및 구성이 아래에 더 상세히 설명된다. 이들 엔티티들은 추가로 분할, 결합 등이 될 수 있다. 도 1의 환경(100) 및 도 2 내지 도 16의 상세한 예시는 설명된 기술을 사용할 수 있는 많은 가능한 환경들 및 디바이스들의 일부를 예시한다. 도 3 내지 도 6은 레이더 시스템(104)의 추가적인 세부사항 및 특징을 설명 한다. 도 3 내지 도 6에서, 레이더 시스템(104)은 전자 디바이스(102)의 맥락에서 설명되지만, 위에서 언급된 바와 같이, 설명된 시스템 및 기술의 특징 및 장점의 적용가능성은 반드시 그렇게만으로 제한되지 않으며, 다른 유형의 전자 디바이스를 포함하는 다른 구현예들도 본 교시의 범위 내에 있을 수 있다.
도 3은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는데 사용될 수 있는 레이더 시스템(104)의 예시적인 구현예(300)를 도시한다. 구현예(300)에서, 레이더 시스템(104)은 통신 인터페이스(302), 안테나 어레이(304), 트랜시버(306), 프로세서(308), 및 시스템 매체(310)(예를 들어, 하나 이상의 컴퓨터 판독가능 저장 매체) 중 적어도 하나를 포함한다. 프로세서(308)는 디지털 신호 프로세서, 컨트롤러, 어플리케이션 프로세서, 다른 프로세서(예를 들어, 전자 디바이스 102의 컴퓨터 프로세서 202) 또는 이들의 일부 조합으로서 구현될 수 있다. 전자 디바이스(102)의 컴퓨터 판독가능 매체(204) 내에 포함되거나 이와 별개일 수 있는 시스템 매체(310)는 다음 모듈들 중 하나 이상을 포함한다: 감쇠 완화기(314), 디지털 빔형성기(316), 각도 추정기(318), 또는 전력 관리자(320). 이러한 모듈들은 레이더 시스템(104)을 전자 디바이스(102) 내에 통합하는 영향들을 보상 또는 완화할 수 있으며, 이에 의해서 레이더 시스템(104)은 소형 또는 복잡한 제스처를 인식하고, 사용자의 서로 다른 방향들을 구분하고, 외부 환경을 지속적으로 모니터링하고, 또는 타겟 오류-알람 레이트를 실현할 수 있다. 이러한 피처들로 인하여, 레이더 시스템(104)은 가령, 도 2에 도시된 디바이스와 같은 다양한 서로 다른 디바이스들 내에서 구현될 수 있다.
통신 인터페이스(302)를 사용하여, 레이더 시스템(104)은 IMA 관리자(106)에게 레이더 데이터를 제공할 수 있다. 통신 인터페이스(302)는 전자 디바이스(102)에 통합되거나 또는 이와 별도로 구현되는 레이더 시스템(104)에 기초하여 무선 또는 유선 인터페이스가 될 수 있다. 어플리케이션에 따라, 레이더 데이터는 원시(rwa) 데이터 또는 최소 처리 데이터, 동위상(in-phase) 및 직교(I/Q) 데이터, 거리 도플러 데이터, 타겟 위치 정보(예컨대, 범위, 방위각, 고도)를 포함하는 프로세싱된 데이터, 클러터 맵 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 다중 입력 모드에 대한 입력 모드 통지를 위해 IMA 관리자(106)에 의해 사용가능한 정보를 포함한다.
안테나 어레이(304)는 적어도 하나의 송신 안테나 요소(미도시) 및 적어도 2개의 수신 안테나 요소(도 4에 도시된 바와 같은)를 포함한다. 일부 경우, 안테나 어레이(304)는 다수의 구별되는 파형들(예를 들어, 송신 안테나 요소 당 상이한 파형)을 한 번에 송신할 수 있는 다중 입력 다중 출력(MIMO) 레이더를 구현하기 위해 다수의 송신 안테나 요소들을 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬수 있다. 수신 안테나 요소들은 3개 이상의 수신 안테나 요소들을 포함하는 구현예들의 경우, 1차원 형상(예컨대, 라인) 또는 2차원 형상으로 위치될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예를 들어, 방위각 또는 고도)를 측정할 수 있게 하는 반면, 2차원 형상은 2개의 각도 치수들(예를 들어, 방위각 및 고도 모두)을 측정할 수 있게 한다. 수신 안테나 요소들의 예시적인 2차원 배열은 도 4와 관련하여 추가로 설명된다.
도 4는 수신 안테나 요소(402)의 예시적인 배열(400)을 도시한다. 안테나 어레이(304)가 적어도 4개의 수신 안테나 요소(402)를 포함하는 경우, 예를 들어, 수신 안테나 요소(402)는 도 4의 가운데에 도시된 바와 같이 직사각형 배열(404-1)로 배열될 수 있다. 대안적으로, 안테나 어레이(304)가 적어도 3개의 수신 안테나 요소(402)를 포함하는 경우, 삼각형 배열(404-2) 또는 L자형 배열(404-3)이 사용될 수 있다.
전자 디바이스(102)의 사이즈 제약 또는 레이아웃 제약으로 인하여, 수신 안테나 요소들(402) 간의 요소 간격 또는 수신 안테나 요소들(402)의 수량은 레이더 시스템(104)이 모니터링하는 각도들에 대해 이상적이지 않을 수도 있다. 특히, 요소 간격은 각도 모호성(angular ambiguities)을 야기할 수 있는바, 이는 기존 레이더가 타겟의 각도 위치를 추정하는 것을 어렵게 만든다. 따라서, 종래의 레이더는 모호한 각도들을 갖는 모호한 영역을 회피하기 위하여 시야(예를 들어, 모니터링되어야 하는 각도들)를 제한할 수 있으며, 이에 의해서 오탐지를 감소시킨다. 예를 들어, 종래의 레이더는 5 밀리미터(mm)의 파장 및 3.5 mm의 요소 간격(예컨대, 요소 간격이 파장의 70% 임)을 이용하여 발생하는 각도 모호성을 회피하기 위하여, 대략 -45도에서 45도 사이의 각도로 시야를 제한할 수 있다. 결과적으로, 기존의 레이더는 45도의 시야 제한을 넘어서는 타겟을 검출하지 못할 수도 있다. 대조적으로, 상기 레이더 시스템(104)은 디지털 빔형성기(316)와 각도 추정기(318)를 포함하는데, 이들은 각도 모호성을 해결하고 그리고 레이더 시스템(104)이 대략 -90도 내지 90도 사이의 각도 또는 최대 약 -180도 내지 180도 사이의 각도와 같이, 45도의 각도 한계를 초과하는 각도들을 모니터링할 수 있게 한다. 이러한 각도 범위들은 하나 이상의 방향들(예컨대, 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 같은 요소 간격들을 포함하는 다양한 상이한 안테나 어레이 설계에 대해 낮은 오류 알람 레이트(false-alarm rate)를 실현할 수 있다.
상기 안테나 어레이(304)를 이용하여, 레이더 시스템(104)은 조향된(steered) 혹은 비-조향된(un-steered), 광폭(wide) 혹은 협폭(narrow), 또는 성형된(shaped)(예를 들어, 반구형, 정육면체, 팬, 원추형 또는 실린더) 빔들을 형성할 수 있다. 일례로서, 하나 이상의 송신 안테나 요소(미도시)는 비-조향된 전방향성 방사 패턴(un-steered omnidirectional radiation pattern)을 가질 수 있거나 또는 광폭 송신 빔(406)과 같은 광폭 빔을 생성할 수 있다. 이러한 기술 중 하나로 인하여, 레이더 시스템(104)은 매우 큰 체적의 공간을 비출 수 있다. 하지만, 타겟 각도 정확도 및 각도 해상도(angular resolution)를 획득하기 위해, 수신 안테나 요소들(402) 및 디지털 빔형성기(316)가 이용되어, 예를 들어 협폭 수신 빔(408)과 같은 수천 개의 협폭이고 조향된 빔들(예컨대, 2000개, 4000개 또는 6000개의 빔들)을 생성할 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사들의 도달 각도들을 정확하게 결정할 수 있다.
도 3으로 돌아가서, 트랜시버(306)는 안테나 어레이(304)를 통해 레이더 신호를 송수신하기 위한 회로 및 로직을 포함한다. 트랜시버(306)의 컴포넌트들은 증폭기, 혼합기, 스위치, 아날로그-디지털 변환기, 필터, 및 레이더 신호를 조절하기 위한 기타의 것 등을 포함할 수 있다. 트랜시버(306)는 또한 변조 또는 복조와 같은 동상/직교(I/Q) 동작을 수행하기 위한 로직을 포함할 수 있다. 트랜시버(306)는 연속파 레이더 동작 또는 펄스 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 단계적 주파수 변조 또는 위상 변조를 비롯한 다양한 변조를 사용하여 레이더 신호를 생성할 수 있다.
트랜시버(306)는 예를 들어, 1 기가헤르츠(GHz)에서 400 GHz 사이, 4 GHz에서 100 GHz 사이, 또는 57 GHz에서 63 GHz의 사이와 같은 다양한 주파수 범위(예컨대, 주파수 스펙트럼)에서 레이더 신호들을 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 상이한 대역폭을 갖는 여러 개의 서브 스펙트럼으로 나누어질 수 있다. 대역폭은 500 MHz, 1 GHz, 2 GHz 등일 수 있다. 예로서, 상이한 주파수 서브 스펙트럼은 대략 57 GHz 내지 59 GHz, 59 GHz 내지 61 GHz, 또는 61 GHz 내지 63 GHz의 주파수들을 포함할 수 있다. 동일한 대역폭을 갖고 연속적이거나 비연속적일 수 있는 다중 주파수 서브스펙트럼도 코히어런스를 위해 선택될 수 있다. 다중 주파수 서브 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 시간에 따라 분리되거나 동시에 전송될 수 있다. 연속적인 주파수 서브 스펙트럼은 레이더 신호가 더 넓은 대역폭을 가질 수 있게 하는 반면, 비연속적인 주파수 서브 스펙트럼은 각도 추정기(318)가 각도 모호성을 해결할 수 있게 하는 진폭 및 위상 차이를 더욱 강조할 수 있다. 감쇠 완화기(314) 또는 각도 추정기(318)는 트랜시버(306)로 하여금 레이더 시스템(104)의 성능을 개선하기 위해 하나 이상의 주파수 서브-스펙트럼을 이용하게 할 수 있으며, 이에 대해서는 도 5 및 도 6과 관련하여 추가로 설명된다.
전력 관리자(320)는 레이더 시스템(104)이 전자 디바이스(102) 내에서 내부적으로 또는 외부적으로 전력을 아껴쓸 수 있게한다. 일부 구현예에서, 전력 관리자(320)는 IMA 관리자(106)와 통신하여, 레이더 시스템(104) 또는 전자 디바이스(102) 중 어느 하나 혹은 이들 둘다에서 전력을 아껴쓸 수 있게한다. 내부적으로는, 예를 들어, 전력 관리자(320)는 레이더 시스템(104)으로 하여금 미리 정의된 전력 모드에서 또는 특정한 제스처 프레임 업데이트 레이트를 사용하여 데이터를 수집하게할 수 있다. 제스처 프레임 업데이트 레이트는 레이더 시스템(104)이 하나 이상의 레이더 신호를 송수신함으로써 외부 환경을 능동적으로 모니터링하는 빈도를 나타낸다. 일반적으로, 전력 소모는 제스처 프레임 업데이트 레이트에 비례한다. 이와 같이, 제스처 프레임 업데이트 레이트가 더 높을수록 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비된다.
미리 정의된 각각의 전력 모드는 특정 프레임 구조, 특정 송신 전력 레벨, 또는 특정 하드웨어(예를 들어, 저전력 프로세서 또는 고전력 프로세서)와 연관될 수 있다. 이들 중 하나 이상을 조정하면, 레이더 시스템의 전력 소비에 영향을 줄 수 있다. 하지만, 전력 소비를 줄이면, 제스처 프레임 업데이트 레이트 및 응답 지연과 같은 성능에 영향을 준다. 이 경우, 전력 관리자(320)는 제스처 프레임 업데이트 레이트, 응답 지연 및 전력 소비가 환경 내 활동에 기초하여 함께 관리되도록, 서로 다른 전력 모드들 사이를 동적으로 스위칭한다. 일반적으로, 전력 관리자(320)는 언제 및 얼마나 전력이 보존될 수 있는지를 결정하고, 시기 및 방법을 결정하고, 레이더 시스템(104)이 전자 디바이스(102)의 전력 제한 내에서 동작할 수 있도록 전력 소비를 점진적으로 조정한다. 일부 경우, 전력 관리자(320)는 남아있는 가용 전력의 양을 모니터링하고 이에 따라 레이더 시스템(104)의 동작을 조정한다. 예를 들어, 전력의 잔량이 적은 경우, 전력 관리자(320)는 고전력 모드로 스위칭하지 않고 저전력 모드로 계속 동작시킬 수 있다.
예를 들어, 저전력 모드에서는 수 헤르츠 정도(예를 들어, 대략 1 Hz 또는 5 Hz 미만)의 제스처 프레임 업데이트 레이트를 사용할 수 있으며, 수 밀리와트(mW) 정도(예를 들어, 대략 2 mW와 4 mW 사이)의 전력을 소비할 수 있다. 이와 달리, 고전력 모드에서는 수십 헤르츠(Hz) 정도(예를 들어, 대략 20Hz 또는 10Hz 초과)의 높은 제스처 프레임 업데이트 레이트를 사용할 수 있으며, 이는 레이더 시스템(104)이 몇 밀리와트(예컨대, 약 6 mW와 20 mW 사이) 정도의 전력을 소비하게 한다. 저전력 모드는 외부 환경을 모니터링하거나 접근하는 사용자를 감지하는데 사용될 수 있지만, 사용자가 제스처를 수행하기 시작하고 있다라고 레이더 시스템(104)이 결정하면, 전력 관리자(320)는 고전력 모드로 전환할 수 있다. 상이한 트리거들은 전력 관리자(320)가 상이한 전력 모드들 사이에서 동적으로 스위칭하게할 수 있다. 트리거들의 일례는 모션 또는 모션 부족, 사용자의 출현 또는 사라짐, 지정된 영역(예컨대, 범위, 방위각 또는 고도로 정의된 영역) 안으로 또는 밖으로 이동하는 사용자, 사용자와 연관된 모션의 속도 변화, 또는 반사된 신호 강도의 변화(예컨대, 레이더 단면의 변화로 인한)를 포함한다. 일반적으로, 전자 디바이스(102)와 상호작용하는 사용자의 더 낮은 확률 또는 더 긴 응답 지연을 사용하여 데이터를 수집하는 선호도를 나타내는 트리거는 전력을 보존하기 위해 저전력 모드가 활성화되게 할 수 있다.
각각의 전력 모드는 특정 프레이밍 구조와 연관될 수 있다. 프레이밍 구조는 레이더 신호의 송수신과 관련된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로, 외부 환경에 기초하여 적절한 레이더 데이터가 수집될 수 있도록 프레이밍 구조를 설정한다. 프레이밍 구조는 다양한 어플리케이션(예컨대, 근접 감지, 특징 인식 또는 제스처 인식)에 대한 다양한 유형의 레이더 데이터 수집을 용이하게 하도록 맞춤화될 수 있다. 프레이밍 구조의 각 레벨에 걸친 비활성 시간 동안, 전력 관리자(320)는 전력을 보존하기 위해 도 3의 트랜시버(306) 내의 구성요소를 끌 수 있다. 프레임 구조는 각 프레임 유형 내에서 조정가능한 듀티 사이클을 통해 전력이 보존될 수 있게 한다. 예를 들어, 제 1 듀티 사이클은 피처 프레임의 총량에 대한 활성 피처 프레임의 양에 기초할 수 있다. 제 2 듀티 사이클은 레이더 프레임들의 총량에 대한 활성 레이더 프레임의 양에 기초할 수 있다. 제 3 듀티 사이클은 레이더 프레임의 지속기간에 대한 레이더 신호의 지속기간에 기초할 수 있다.
약 2 mW 의 전력을 소비하며 약 1 Hz에서 4 Hz 사이의 제스처 프레임 업데이트 레이트를 갖는 저전력 모드에 대한 예시적인 프레이밍 구조(미도시)를 고려하자. 본 일레에서, 프레이밍 구조는 약 250 ms와 1초 사이의 지속 시간을 갖는 제스처 프레임을 포함한다. 제스처 프레임은 31개의 펄스 모드 피처 프레임들을 포함한다. 31개의 펄스 모드 피처 프레임들 중 하나가 활성 상태에 있다. 그 결과 듀티 사이클은 대략 3.2 % 이다. 각 펄스 모드 피처 프레임의 지속 시간은 약 8 ms에서 32 ms 사이이다. 각 펄스 모드 피처 프레임은 8개의 레이더 프레임으로 구성된다. 활성 펄스 모드 피처 프레임 내에서 모두 8개의 레이더 프레임들이 활성 상태이다. 그 결과 듀티 사이클이 100%가 된다. 각 레이더 프레임의 지속 시간은 약 1 ms에서 4 ms 사이이다. 각각의 활성 레이더 프레임 내의 활성 시간은 약 32 ㎲에서 128 ㎲ 사이이다. 따라서, 결과적인 듀티 사이클은 약 3.2%이다. 이러한 예시적인 프레이밍 구조는 좋은 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 제스처 인식 및 존재 감지 측면에서 나타나는 동시에 저전력 상태의 휴대용 스마트폰의 어플리케이션 컨텍스트에서 우수한 전력 효율성 결과를 제공한다. 이러한 예시적인 프레이밍 구조에 기초하여, 전력 관리자(320)는 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이러한 비활성 시간 기간에 기초하여, 전력 관리자(320)는 아래에서 추가로 설명되는 바와 같이 레이더 시스템(104)의 동작 상태를 조정하고 트랜시버(306)의 하나 이상의 구성요소를 턴오프함으로써 전력을 보존할 수 있다.
전력 관리자(320)는 비활성 기간 동안 트랜시버(306)의 하나 이상의 컴포넌트들(예컨대, 전압 제어 발진기(VCO), 멀티플렉서, 아날로그-디지털 변환기, 위상 고정 루프(PLL) 또는 크리스탈 오실레이터 등)을 턴오프함에 의해서 전력을 절약할 수 있다. 이러한 비활성 시간 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송하거나 수신하지 않는 경우 발생하며, 이는 마이크로초(㎲), 밀리초(ms) 또는 초(s) 정도일 수 있다. 또한, 전력 관리자(320)는 신호 증폭기가 제공하는 증폭량을 조절하여 레이더 신호의 송신 전력을 변경할 수 있다. 추가적으로, 전력 관리자(320)는 전력을 보존하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 컴포넌트들의 사용을 제어할 수 있다. 프로세서(308)가 저전력 프로세서 및 고전력 프로세서(예를 들어, 상이한 양의 메모리 및 연산 능력을 갖는 프로세서)를 포함하는 경우, 예를 들어, 전력 관리자(320)는 저레벨 분석(예컨대, 유휴 모드 구현, 모션 감지, 사용자 위치 결정 또는 환경 모니터링)을 위한 저전력 프로세서의 사용 및 높은 신뢰성 또는 정확한 레이더 데이터가 IMA 관리자(106)에 의해 요청되는 상황에 대한 고전력 프로세서의 사용(예컨대, 인식 모드, 연계 모드 또는 활성 모드, 제스처 인식 또는 사용자 방향을 구현하기 위해) 사이에서 스위칭할 수 있다.
또한, 전력 관리자(320)는 전자 디바이스(102)의 주위 환경의 콘텍스트를 결정할 수 있다. 이러한 컨텍스트로부터, 전력 관리자(320)는 어떤 전력 상태들이 이용가능한지, 그리고 이들이 어떻게 구성되었는지를 결정할 수 있다. 예를 들어, 전자 디바이스(102)가 사용자의 주머니에 있는 경우, 사용자(112)가 전자 디바이스(102)에 근접한 것으로 검출되더라도, 레이더 시스템(104)은 높은 제스처 프레임 업데이트 레이트를 갖는 고전력 모드에서 작동할 필요가 없다. 따라서, 전력 관리자(320)는 사용자가 전자 디바이스(102)에 근접한 것으로 검출되더라도 레이더 시스템(104)이 저전력 모드에 남아 있게할 수 있고, 디스플레이(114)가 오프 또는 다른 저전력 상태로 유지되게할 수 있다. 전자 디바이스(102)는 레이더 시스템(104)과 조합하여 임의의 적절한 비-레이더 센서(108)(예를 들어, 자이로스코프, 가속도계, 광 센서, 근접 센서, 커패시턴스 센서 등)를 사용하여 그 환경의 컨텍스트를 결정할 수 있다. 이러한 컨텍스트는 시간, 달력 요일, 밝기/어둡기, 사용자(112) 근처의 사용자들의 수, 주변 소음 수준, 전자 디바이스(102)에 대한 주변 객체들(사용자 112 포함)의 이동 속도 등을 포함한다.
도 5는 전자 디바이스(102) 내의 레이더 시스템(104)의 예시적인 구현예(500)의 추가적인 세부사항을 도시한다. 본 일례(500)에서, 안테나 어레이(304)는 유리 커버 또는 외부 케이스와 같은 전자 디바이스(102)의 외부 하우징 아래에 위치된다. 그 물질 특성에 따라 외부 하우징은 레이더 시스템(104)에 의해 송수신되는 레이더 신호를 감쇠하거나 왜곡하는 감쇠기(502)로 작용할 수 있다. 감쇠기(502)는 다양한 유형의 유리 또는 플라스틱을 포함할 수 있으며, 그 중 일부는 디스플레이 스크린, 외부 하우징, 또는 전자 디바이스(102)의 다른 구성요소 내에서 발견되고 약 4 내지 10 사이의 유전 상수(예컨대, 상대 유전율)를 가질 수 있다. 따라서, 감쇠기(502)는 레이더 신호(506)에 대해 불투명하거나 반투명하고, 송신되거나 수신된 레이더 신호(506)의 일부가 반사되게할 수 있다(반사된 부분(504)에 의해 도시된 바와 같이). 종래의 레이더의 경우, 감쇠기(502)는 모니터링될 수 있는 유효 범위를 감소시키거나, 작은 표적이 탐지되는 것을 방지하거나, 전체적인 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 송신 전력이 제한되며 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(506)의 감쇠 의존 속성들(예를 들면, 주파수 서브-스펙트럼 508 또는 조향 각도 510) 또는 감쇠기(502)의 감쇠 의존 특성들(예를 들어, 감쇠기 502와 및 레이더 시스템 104 사이의 거리 또는 감쇠기 502의 두께 514) 중 하나 이상이 조절되어 감쇠기(502)의 영향을 완화시킬 수 있다. 이들 특성들 중 일부는 제조 중에 설정될 수 있으며 또는 레이더 시스템(104)의 동작 동안 감쇠 완화기(314)에 의해 조정될 수 있다. 감쇠 완화기(314)는 예를 들어, 트랜시버(306)로 하여금 선택된 주파수 서브-스펙트럼(508) 또는 조향 각도(510)를 사용하여 레이더 신호(506)를 전송하게 하거나, 거리(512)를 변경하기 위해 플랫폼으로 하여금 레이더 시스템(104)을 감쇠기(502)로부터 더 가깝게 또는 더 멀리 이동시키게 하거나, 또는 감쇠기(502)의 두께(514)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자에게 프롬프트할 수 있다.
감쇠기(502)의 미리-결정된 특성(예를 들어, 전자 디바이스(102)의 컴퓨터 판독가능 매체(204) 또는 시스템의 매체(310)에 저장된 특성)에 기초하여, 또는 감쇠기(502)의 하나 이상의 특성을 측정하도록 레이더 신호(506)의 리턴들을 프로세싱함으로써, 감쇠 완화기(314)에 의해 적절한 조정이 이루어질 수 있다. 감쇠 의존 특성들 중 일부가 고정되거나 또는 제한되는 경우에도, 감쇠 완화기(314)는 각 파라미터를 밸런싱하고 그리고 타겟 레이더 성능을 달성하기 위해 이러한 제한들을 고려할 수 있다. 그 결과, 감쇠 완화기(314)는 감쇠기(502)의 반대편에 위치한 사용자를 검출 및 추적하기 위한 향상된 정확성 및 큰 유효 범위들을 레이더 시스템(104)이 구현하게 할 수 있다. 이들 기술들은, 송신 전력을 증가시키는 것(이는 레이더 시스템(104)의 전력 소비를 증가시킴) 또는 감쇠기(502)의 물질 특성을 변경하는 것(이는 일단 디바이스가 생산되면 어렵고 비용이 많이 들 수 있음)에 대한 대안들을 제공한다.
도 6은 레이더 시스템(104)에 의해 구현되는 예시적인 방식(600)을 도시한다. 방식(600)의 일부는 프로세서(308), 컴퓨터 프로세서(202), 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 방식(600)은 다양한 유형의 전자 디바이스 및 레이더 기반 어플리케이션(예를 들어, IMA 관리자(106))을 지원하도록 맞춤화될 수 있으며, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 타겟 각도 정확도를 달성할 수 있게 한다.
트랜시버(306)는 수신된 레이더 신호에 대한 수신 안테나 요소들(402)의 개별 응답들에 기초하여 원시(raw) 데이터(602)를 생성한다. 수신된 레이더 신호는 각도 모호성 해결을 용이하게 하기 위해 각도 추정기(318)에 의해 선택된 하나 이상의 주파수 서브-스펙트럼(604)과 연관될 수 있다. 예를 들어, 주파수 서브-스펙트럼(604)은 사이드로브의 양을 감소시키거나 사이드로브의 진폭을 감소시키도록(예를 들어, 진폭을 0.5dB, 1dB, 또는 그 이상만큼 감소시키도록) 선택될 수 있다. 주파수 서브스펙트럼의 양은 레이더 시스템(104)의 타겟 각도 정확도 또는 계산량 제한들에 기초하여 결정될 수 있다.
원시 데이터(602)는 수신 안테나 요소들(402)과 각각 관련된 시간 기간, 상이한 파수들(wavenumbers), 및 다수의 채널들에 대한 디지털 정보(예컨대, 동상 및 직교 데이터)를 포함한다. 고속 푸리에 변환(FFT)(606)이 원시 데이터(602)에 대해 수행되어 전-처리된(pre-processed) 데이터(608)를 생성한다. 전처리된 데이터(608)는 상이한 범위들(예를 들어, 범위 빈(range bins)), 및 다수의 채널들에 대한, 시간 기간에 걸친 디지털 정보를 포함한다. 전처리된 데이터(608)에 대해 도플러 필터링 프로세스(610)가 수행되어 범위(range)-도플러 데이터(612)를 생성한다. 도플러 필터링 프로세스(610)는 다중 범위 빈들, 다중 도플러 주파수들 및 다중 채널들에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔형성기(316)는 범위-도플러 데이터(612)에 기초하여 빔포밍(beamforming) 데이터(614)를 생성한다. 빔포밍 데이터(614)는 방위각들 및/또는 고도들의 세트에 대한 디지털 정보를 포함하며, 이는 디지털 빔 형성기(316)에 의해 형성되는 상이한 조향 각도들 또는 빔들에 대한 시야를 나타낸다. 비록, 도시되지는 않았지만, 디지털 빔형성기(316)는 대안적으로 상기 전처리된 데이터(608)에 기초하여 빔포밍 데이터(614)를 생성할 수 있고 그리고 도플러 필터링 프로세스(610)는 빔포밍 데이터(614)에 기초하여 범위-도플러 데이터(612)를 생성할 수 있다. 계산량을 줄이기 위해, 디지털 빔형성기(316)는 관심있는 범위, 시간, 또는 도플러 주파수 간격에 기초하여 범위-도플러 데이터(612) 또는 전처리된 데이터(608)의 일부를 프로세싱할 수 있다.
디지털 빔포머(316)는 싱글룩 빔형성기(single-look beamformer)(616), 멀티룩 간섭계(multi-look interferometer)(618), 멀티룩 빔형성기(620)로 구현될 수 있다. 일반적으로, 싱글룩 빔형성기(616)는 결정론적 타겟(예를 들어, 단일 위상 중심을 갖는 포인트 소스 타겟)에 사용될 수 있다. 비결정론적 타겟(예를 들어, 다중 위상 중심을 갖는 타겟)의 경우, 멀티룩 간섭계(618) 또는 멀티룩 빔형성기(620)가 이용되어, 싱글룩 빔형성기(616)에 비하여 정확도를 개선한다. 사람은, 비결정론적 타겟의 일례이며, 624-1 및 624-2에 도시된 바와 같이, 상이한 종횡 각도(aspect angles)에 기초하여 변경될 수 있는 다수의 위상 중심(622)을 갖는다. 다중 위상 중심(622)에 의해 생성된 보강 간섭(constructive interference) 또는 상쇄 간섭(destructive interference)에서의 변동들은 기존 레이더가 각도 위치들을 정확하게 결정하는 것을 어렵게 만들 수 있다. 그러나, 멀티룩 간섭계(618) 또는 멀티룩 빔형성기(620)는 빔포밍 데이터(614)의 정확도를 증가시키기 위해 코히런트 평균화를 수행한다. 멀티룩 간섭계(618)는 2개의 채널들을 코히어런트하게 평균화하여, 각도 정보를 정확하게 결정하는데 사용될 수 있는 위상 정보를 생성한다. 다른 한편으로, 멀티룩 빔형성기(620)는 푸리에(Fourier), 카폰(Capon), 다중 신호 분류(MUSIC) 또는 MVDR(Minimum Variance Distortion Less Response)과 같은 선형 또는 비선형 빔형성기를 사용하여 2개 이상의 채널들을 코히어런트하게 평균화할 수 있다. 멀티룩 빔형성기(620) 또는 멀티룩 간섭계(618)를 통해 제공되는 증가된 정확도로 인하여, 레이더 시스템(104)은 작은 제스처를 인식할 수 있으며 또는 사용자의 여러 부분들을 구별할 수 있다.
각도 추정기(318)는 하나 이상의 각도 위치를 추정하기 위해 빔포밍 데이터(614)를 분석한다. 각도 추정기(318)는 신호 처리 기술, 패턴 매칭 기술, 또는 머신 러닝을 이용할 수 있다. 각도 추정기(318)는 또한 레이더 시스템(104)의 설계로부터 야기되거나 또는 레이더 시스템(104)이 모니터링하는 시야로부터 야기될 수 있는 각도 모호성을 해결한다. 예시적인 각도 모호성이 진폭 플롯(626)(예를 들어, 진폭 응답) 내에 도시된다.
진폭 플롯(626)은 타겟의 상이한 각도 위치들 및 상이한 스티어링 각도들(510)에 대해 발생할 수 있는 진폭 차이들을 도시한다. 제 1 각도 위치(630-1)에 배치된 타겟에 대한 제 1 진폭 응답(628-1)(실선으로 도시됨)이 도시된다. 유사하게, 제 2 각도 위치(630-2)에 배치된 타겟에 대한 제 2 진폭 응답(628-2)(점선으로 도시됨)이 도시된다. 본 일례에서, 상기 차이들은 -180도에서 180도 사이의 각도에서 고려된다.
진폭 플롯(626)에 도시된 바와 같이, 2개의 각도 위치들(630-1 및 630-2)에 대해 모호한 영역이 존재한다. 제 1 진폭 응답(628-1)은 제 1 각도 위치(630-1)에서 가장 높은 피크를 갖고 제 2 각도 위치(630-2)에서 그 보다 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 위치에 대응하지만, 더 작은 피크는 제 1 각도 위치(630-1)가 모호하게 만든다. 왜냐하면 그것이 기존의 레이더가 타겟이 제 1 각도 위치(630-1) 또는 제 2 각도 위치(630-2)에 있는지를 자신있게 결정할 수 없는 임계값 내에 있기 때문이다. 대조적으로, 제 2 진폭 응답(628-2)은 제 2 각도 위치(630-2)에서 더 작은 피크를 갖고 제 1 각도 위치(630-1)에서 더 높은 피크를 갖는다. 이 경우 더 작은 피크가 타겟의 위치에 해당한다.
종래의 레이더는 각도 위치를 결정하기 위해 가장 높은 피크 진폭을 사용하도록 제한될 수 있지만, 상기 각도 추정기(318)는 그 대신에, 진폭 응답들(628-1 및 628-2)의 형상들의 미묘한 차이를 분석한다. 형상의 특징들은 예를 들어, 롤오프(roll-off), 피크 또는 널 폭(null-width), 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드로브의 모양, 진폭 응답(628-1 또는 628-2) 내의 대칭, 진폭 응답(628-1 또는 628-2) 내의 대칭의 부재를 포함할 수 있다. 유사한 형상 특징들이 위상 응답에서 분석될 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서, 각도 추정기(318)는 고유한 각도 시그니처 또는 패턴을 각도 위치에 매핑한다.
각도 추정기(318)는 전자 디바이스(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 IMA 관리자(106)를 위한 타겟 각도 해결에 따라 선택될 수 있는 알고리즘 또는 툴들의 모음을 포함할 수 있다. 일부 구현예에서, 각도 추정기(318)는 신경망(632), 컨볼루션 신경망(CNN)(634) 또는 장기 단기 메모리(LSTM) 네트워크(636)를 포함할 수 있다. 신경망(632)은 다양한 깊이들 또는 수량들의 히든 레이어들을 가질 수 있으며(예컨대, 3개의 히든 레이어, 5개의 히든 레이어 또는 10개의 히든 레이어) 그리고 상이한 수량들의 연결들을 포함할 수 있다(예컨대, 신경망(632)은 완전히 연결된 신경망 또는 부분적으로 연결된 신경망을 포함할 수 있다). 일부 경우, 각도 추정기(318)의 계산 속도를 증가시키기 위해 CNN(634)이 이용될 수 있다. LSTM 네트워크(636)는 각도 추정기(318)가 타겟을 추적할 수 있게 하기 위해 사용될 수 있다. 머신 러닝 기술을 사용하는 경우, 각도 추정기(318)는 비선형 함수를 채용하여 진폭 응답(628-1 또는 628-2)의 모양을 분석하고 그리고 사용자 또는 사용자의 일부가 각도 빈(angular bin) 내에 있을 가능성을 나타내는 각도 확률 데이터(638)를 생성한다. 각도 추정기(318)는 타겟이 전자 디바이스(102)의 왼쪽 또는 오른쪽에 있을 확률을 제공하기 위해 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 각도 확률 데이터(638)를 제공하거나, 또는 수천 개의 각도 빈들(예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(638)를 제공하도록)에 대한 각도 확률 데이터(638)를 제공한다.
각도 확률 데이터(638)에 기초하여, 추적기 모듈(640)은 타겟의 각도 위치를 식별하는 각도 위치 데이터(642)를 생성한다. 추적기 모듈(640)은 각도 확률 데이터(638)에서 가장 높은 확률을 갖는 각도 빈(angular bin)에 기초하여 또는 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여, 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(640)은 또한 레이더 시스템(104)이 표적을 확실하게 구별하거나 식별할 수 있게 하기 위해, 하나 이상의 움직이는 타겟들을 계속 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 비롯한 다른 데이터를 사용하여 각도 위치를 결정할 수도 있다. 일부 경우, 추적기 모듈(640)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT: multiple hypothesis tracker) 등을 포함할 수 있다.
양자화기 모듈(644)은 각도 위치 데이터(642)를 획득하고 그리고 양자화된 각도 위치 데이터(646)를 생성하도록 상기 데이터를 양자화한다. 양자화는 IMA 관리자(106)를 위한 타겟 각도 해상도에 기초하여 수행될 수 있다. 일부 경우, 양자화된 각도 위치 데이터(646)가 타겟이 전자 디바이스(102)의 오른쪽에 있는지 왼쪽에 있는지를 나타내거나 또는 타겟이 위치하는 90도 사분면을 식별하기 위해, 보다 적은 양자화 레벨들이 이용된다. 이것은 사용자 근접 감지와 같은, 일부 레이더 기반 어플리케이션에서 충분할 수 있다. 다른 상황에서는, 양자화된 각도 위치 데이터(646)가 몇분의 1도(a fraction of a degree), 1도, 5도 등의 정확도 내에서 타겟의 각도 위치를 나타내도록, 더 많은 수의 양자화 레벨들이 이용될 수 있다. 이러한 해상도는 제스처 인식과 같은 고해상도 레이더 기반 어플리케이션에 사용될 수 있으며, 또는 여기에 설명된 인식 영역, 인식 모드, 연계 모드 또는 활성 모드의 구현에 사용될 수 있다. 일부 구현예에서, 디지털 빔형성기(316), 각도 추정기(318), 추적기 모듈(640), 및 양자화기 모듈(644)은 하나의 머신 러닝 모듈에서 함께 구현된다.
도 1-6의 엔티티들이 작동하고 상호작용하는 방식뿐만 아니라 이들 및 기타 기능들 및 구성들이 아래에 설명되어 있다. 설명된 엔티티들은 다른 센서들 또는 컴포넌트들, 기타 등등과 함께 추가로 분할, 결합, 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 비-레이더 센서의 상이한 구성들과 함께 전자 디바이스(102)의 상이한 구현들은 다중 입력 모드에 대한 입력 모드 통지를 구현하기 위해 사용될 수 있다. 도 1의 예시적인 운영 환경(100) 및 도 2-6의 상세한 예시들은, 설명된 기술을 사용할 수 있는 많은 가능한 환경들 및 디바이스들의 일부를 예시한다.
예시적인 방법(Example Methods)
도 7은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는 예시적인 방법(700)을 도시한다. 방법(700)은 전자 디바이스로 수행될 수 있으며, 전자 디바이스는 디스플레이 및 레이더 필드를 제공할 수 있는 레이더 시스템을 포함하거나 이와 관련될 수 있다. 레이더 시스템 및 레이더 필드는 전자 디바이스의 사용자와 같은 레이더 필드 내의 객체로부터의 레이더 필드의 반사들에 기초하여 레이더 데이터를 제공할 수 있다. 예를 들어, 레이더 데이터는 도 1을 참조하여 설명된 바와 같이 레이더 시스템(104)에 의해 생성 및/또는 이를 통해 수신될 수 있다. 레이더 데이터는 레이더 필드에서 사용자의 존재, 레이더 필드에서의 사용자의 제스처, 전자 디바이스에 대한 사용자의 움직임과 같은 전자 디바이스와 사용자의 상호작용을 결정하는데 사용된다. 사용자의 존재, 움직임 및 제스처에 대한 결정에 기초하여, 전자 디바이스는 다양한 기능 모드들에 들어가고 나갈 수 있고, 상이한 시각적 요소들을 디스플레이에 제시할 수 있다. 시각적 요소는 디바이스에 대한 사용자의 자세, 전자 디바이스에 대한 다양한 기능들의 가용성, 전자 디바이스와의 사용자 상호작용을 나타내기 위해 사용자에게 피드백을 제공한다. 시각적 요소의 추가적인 일례들은 도 8-13과 관련하여 설명된다.
상기 방법(700)은 수행되는 동작들을 특정하는 블럭들의 세트로 도시되지만, 각각의 블록에 의한 동작들의 수행을 위해 상기 도시된 순서 또는 조합으로 반드시 제한될 필요는 없다. 또한, 광범위한 추가적인 및/또는 대안적인 방법들을 제공하기 위해 하나 이상의 동작들은 반복, 결합, 재구성 또는 링크될 수 있다. 다음 논의의 일부에서, 도 1의 예시적인 운영 환경(100) 또는 도 2-6에 상세히 설명된 바와 같은 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이러한 참조는 단지 예시일 뿐이다. 본 발명의 기술은 하나의 디바이스에서 작동하는 하나의 엔티티 또는 여러 엔티티에 의한 수행으로 제한되지 않는다.
단계 (702)에서, 전자 디바이스에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신할 수 있는지가 판별된다. 레이더 제스처 입력(때로는 레이더 제스처라고도 함)은 레이더 시스템에서 생성된 레이더 데이터에 의해 정의된다. 예를 들어, IMA 관리자(106) 또는 어플리케이션 관리자(116)와 같은 어플리케이션 관리자는, 전자 디바이스(예컨대, 전자 디바이스 102)에서 동작하는 어플리케이션이 레이더 제스처 입력(예컨대, 제스처-가입 어플리케이션)을 수신할 능력을 갖는지를 판별할 수 있다. 레이더 제스처 입력의 기반이 되는 레이더 데이터는 도 1을 참조하여 설명된 바와 같은 레이더 시스템(104)에 의해 생성 및/또는 이를 통해 수신될 수 있다.
단계 (704)에서, 레이더 데이터의 하나 이상의 서브세트에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지가 결정된다. 예를 들어, IMA 관리자(106) 또는 레이더 시스템(104)은 레이더 시스템(104)으로부터의 레이더 데이터를 사용하여, 전자 디바이스(102)의 임계 거리 내에(예를 들어, 6인치 이내 또는 1, 3, 5, 7, 10, 또는 14 피트 이내) 사용자(112)가 있는지 또는 도 1을 참조하여 설명된 바와 같은 인식 영역 내에 사용자가 있는지를 결정할 수 있다.
단계 (706)에서, 상기 전자 디바이스에서 동작하는 어플리케이션이 제스처 가입 어플리케이션이며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 전자 디바이스의 디스플레이 상에 입력 모드 통지가 제공된다. 일반적으로, 입력 모드 통지는 디스플레이의 활성 영역에 나타나는 시각적 요소와 같은 사용자 인식가능한 요소이며, 이는 사용자가 제스처 가입 어플리케이션과 상호작용하기 위해 레이더 제스처를 사용할 수 있음을 나타낸다. 예를 들어, IMA 관리자(106)는 디스플레이(114)가 입력 모드 통지(118)를 디스플레이하게 할 수 있다.
도 1을 참조하여 설명된 바와 같이, 입력 모드 통지는 디스플레이의 에지를 따라 제공될 수 있으며, 그리고 임의의 다양한 형상, 사이즈, 컬러 및 다른 시각적 파라미터 또는 속성(예컨대, 광도, 컬러, 콘트라스트, 모양, 채도, 번짐 또는 불투명도)을 가질 수 있다. 일부 경우, 시각적 요소는 디스플레이의 광도 또는 다른 시각적 속성과는 다른 광도 또는 다른 시각적 속성을 가지며, 디스플레이의 활성 영역의 에지에 평행하거나 및/또는 이에 인접한 측면을 가지며, 그리고 디스플레이의 활성 영역의 에지로부터 연장되는 형상을 갖는, 디스플레이의 활성 영역의 일부일 수 있다. 일부 경우, 디스플레이의 활성 영역의 에지로부터 연장되는 형상의 광도는, 상기 형상이 디스플레이의 활성 영역의 에지로부터 거리를 가로질러 연장됨에 따라 달라진다. 다른 구현들에서, 입력 모드 통지는 에지가 아닌 디스플레이 상의 위치에 나타날 수 있다(예를 들어, 입력 모드 통지는 디스플레이(114)의 내부 영역에 제시될 수 있고, 디스플레이의 에지에 인접하지 않거나 터치하지 않을 수 있다).
입력 모드 통지의 컬러는, 입력 모드 통지가 제시되는 디스플레이의 배경(background)과 시각적으로 구별될 수 있는 임의의 적절한 컬러일 수 있다. 상기 컬러는 도 1을 참조하여 설명된 바와 같이 다양한 요인들 중 임의의 것에 기초하여 변경될 수 있다. 일부 구현들에서, IMA 관리자(106)와 같은 전자 디바이스의 컴포넌트는 입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정할 수 있다. 배경 컬러를 결정하는 것에 응답하여, 입력 모드 통지는 배경 컬러과 다른 다른 컬러로 제시될 수 있으며, 이는 도 1을 참조하여 설명된 바와 같이 입력 모드 통지과 배경 컬러 사이에 인간이 식별할 수 있는 대비를 제공한다. 일부 경우, 배경 컬러의 변경에 기초하여, 입력 모드 통지의 컬러가 지속적으로 자동으로 동적으로 조정될 수 있다.
입력 모드 통지 또한 또는 그 대신에, 짧은 애니메이션으로, 적어도 부분적으로 나타날 수 있다. 예를 들어, 입력 모드 통지는 활성 디스플레이의 에지에 나타난 다음, 디폴트 모양을 취하기 전에 커지거나 줄어들 수 있다. 이와 유사하게, 컬러, 광도 또는 형상은 디폴트 모양을 취하기 전에 입력 모드 통지가 나타나거나 사라짐에 따라(예컨대, 제스처 가입 어플리케이션이 작동을 중지하는 경우) 변경될 수 있다. 또한, 입력 모드 통지는 디스플레이의 한 영역에 나타나는 요소가 아니라, 디스플레이에 나타나는 이미지일 수 있다. 이미지는 광도, 컬러, 대비, 형상, 채도, 흐림, 불투명도 등과 같은 디스플레이의 주변 배경의 파라미터 또는 속성과는 다른, 시각적 파라미터 또는 속성을 가질 수 있다. 다른 경우, 주변 배경은 이미지일 수 있고, 입력 모드 통지는 광도, 컬러, 대비, 형상, 채도, 흐림, 불투명도 등과 같은 다른 시각적 파라미터 또는 속성을 가진 동일한 이미지이다. 이러한 방식으로, 입력 모드 통지는 제스처 가입 어플리케이션이 전자 디바이스에서 작동 중임을 사용자에게 통신함으로써 사용자 경험을 개선할 수 있다.
방법(700)의 일부 구현예들에서, 입력 모드 통지의 위치는 디스플레이 상의 콘텐츠의 방향에 기초하여 및/또는 콘텐츠와 상호작용하는데 사용되는 레이더 제스처 입력의 방향에 기초하여 결정될 수 있다. 예를 들어, IMA 관리자(106)와 같은 전자 디바이스의 컴포넌트는 디스플레이 상의 콘텐츠의 방향을(예를 들어, 어플리케이션 관리자 116로부터)획득할 수 있다. 콘텐츠의 방향에 기초하여, 디스플레이는 콘텐츠와 상호작용하는데 사용될 수 있는 레이더 제스처 입력의 방향을 결정할 수 있고, 레이더 제스처 입력의 방향에 대응되는 디스플레이의 활성 영역의 특정 에지에서 입력 모드 통지를 제공할 수 있다. 따라서, 도 1을 참조하여 설명된 바와 같이, 디스플레이되는 컨텐츠의 컨텍스트가 수평인 경우, 입력 모드 통지는 상단 에지 또는 하단 에지에 디스플레이되고, 디스플레이되는 컨텐츠의 컨텍스트가 수직인 경우, 입력 모드 통지는 사이드 에지에 디스플레이된다.
또한, 사용자에 대한 전자 디바이스의 방향의 변화가 검출될 수 있으며, 그리고 이러한 방향 변화에 기초하여 입력 모드 통지가 디스플레이의 다른 에지에 제공될 수 있으므로, 사용자에 대한 입력 모드 통지의 방향과 위치가 유지될 수 있다. 예를 들어, 도 1을 참조하여 설명된 바와 같이, 사용자(112)는 비디오를 시청하기 위하여 수직 방향에서 수평 방향으로 디바이스를 회전하거나 또는 기사를 읽기 위하여 수평 방향에서 수직 방향으로 디바이스를 회전시킬 수 있다. 방향의 변경에 기초하여, IMA 관리자(106)는 사용자(112)에 대한 입력 모드 통지(118)의 방향 및 위치를 유지하기 위하여, 디스플레이(114)로 하여금 활성 디스플레이의 상이한 에지 상에 입력 모드 통지(118)를 제시하게 할 수 있다. 전술한 바와 같이, 콘텐츠의 방향이 또한 고려될 수 있으며, 이러한 피처들은 서로 함께 사용되어, 디스플레이 상의 콘텐츠의 방향 및 사용자에 대한 디스플레이의 방향 둘다에 적합한 위치에서 디스플레이 상에 입력 모드 통지를 제시할 수 있다.
일부 경우, 전자 디바이스 상에서 실행되는 제스처 가입 어플리케이션이 몰입 모드(immersive mode)(가령, 임의의 콘트롤들이 제공되지 않는 풀-스크린 모드)에서 동작하고 있다고 결정될 수 있다. 이러한 결정에 응답하여, 디스플레이는 주기적으로 입력 모드 통지를 제공할 수 있다. 예를 들어, 도 1을 참조하여 설명한 바와 같이, 입력 모드 통지는 제시 시간 기간(presentation time duration) 동안 디스플레이 상에 제공될 수 있으며, 비제시 시간 기간 동안 제공을 중단할 수 있다. 제시 시간 기간 및 비제시 시간 기간 둘다는 미리 결정되거나 선택될 수 있다. 상기 시간 기간들은 선택가능하다(예컨대, 몰입형 모드에서 실행되는 제스처 가입 어플리케이션의 유형, 제스처 가입 어플리케이션의 상태, 또는 사용자가 레이더 제스처를 사용하는 빈도와 같은 다양한 요인들에 기초하여, 사용자(112)에 의해 또는 IMA 관리자(106)에 의해 선택될 수 있다).
일부 구현예에서, 사용자가 레이더 제스처 이외의 입력(예를 들어, 터치, 음성 입력)을 사용하여 전자 디바이스와 상호작용하는 경우, 입력 모드 통지는 페이드되거나 또는 완전히 사라질 수 있다. 예를 들어, 도 1을 참조하여 설명한 바와 같이, 제스처 가입 어플리케이션이 또한 전자 디바이스에서 작동하는 동안, 사용자는 전자 디바이스 상의 터치 커맨드를 사용하여 다른 어플리케이션을 시작하기로 할 수 있다(또는 파워 혹은 잠금 컨트롤을 터치하거나 누를려고 할 수 있다). 이 경우, 사용자가 전자 디바이스를 들거나 디스플레이를 터치하면 입력 모드 통지가 페이드되거나 사라질 수 있다. 사용자가 디스플레이를 터치하는 것을 중단하거나 전자 디바이스를 내려놓으면, 입력 모드 통지가 다시 시작된다(하나 이상의 제스처 가입 어플리케이션이 여전히 작동하는 경우). 터치 입력 또는 음성 입력이 종료될 때 또는 선택가능한 디폴트 시간 기간 이후에, 입력 모드 통지는 즉시 다시 나타나거나 밝아질 수 있다. 유사하게, 제스처 가입 어플리케이션이 경보 또는 통지를 제공하는 어플리케이션인 경우, 경보 또는 통지가 디스플레이될 때 입력 모드 통지가 나타나며, 그리고 사용자가 레이더 제스처를 이용하여 경보 또는 통지와 상호작용할 때 입력 모드 통지는 사라진다(다른 제스처 가입 앱이 실행되고 있지 않는 한). 도 1을 참조하여 언급된 바와 같이, 입력 모드 통지가 스크린 번인 또는 고스트 이미지를 유발할 위험을 줄이기 위하여, 전자 디바이스(102)의 동작 상태, 스크린 상태, 전력 상태 또는 기능 모드에 기초하여, 입력 모드 통지가 변경 또는 이동하는 위치에 제시될 수 있거나, 또는 교대로 표시되고 숨겨질 수 있다.
전자 디바이스(102)가 잠금 상태 또는 잠금해제 상태인 동안, 입력 모드 통지가 제공될 수 있다. 따라서, 전자 디바이스는 사용자가 근처에 있으면 인증 여부에 관계없이 입력 모드 통지를 제공할 수 있다. 도 1을 참조하여 설명된 바와 같이, 잠금 및 잠금해제 상태는 전자 디바이스에 대한 액세스 레벨을 의미한다. 잠금 상태는 인증된 사용자가 없고, 디바이스를 사용하는 모든 사람이 전체 권한 또는 액세스 권한 미만의 권한을 갖는 상태일 수 있다(예컨대, 액세스 또는 권한 없음, 또는 제한된 액세스 또는 권한을 가짐). 잠금 상태의 일례는 여기에 설명된 전자 디바이스의 인식 모드 및 연계 모드를 포함할 수 있다. 유사하게, 잠금해제 상태는 적어도 한 명의 사용자가 인증되고, 해당 사용자가 디바이스에 대한 모든 권한 및/또는 액세스 권한을 갖는 상태일 수 있다. 잠금해제 상태의 일례는 여기에 설명된 전자 디바이스의 활성 모드이다.
다중 입력 모드에 대한 입력 모드 통지를 위한 이러한 기술들은 다른 인증 및 피드백 방법보다 더 안전할 수 있다. 예를 들어, 사용자의 위치, 방향 또는 3D 제스처(특히 사용자 정의 제스처, 마이크로 제스처, 자세 또는 위치 기반 제스처)는 일반적으로 권한이 없는 사람에 의해 복제되거나 획득될 수 없다(예컨대, 패스워드와 다르다). 또한, 사용자의 레이더 이미지(예를 들어, 위에서 설명한 레이더 데이터에 기초함)는 사용자의 얼굴을 포함하더라도, 사진이나 비디오와 같이 시각적으로 사용자를 식별하지 못한다. 그럼에도 불구하고 위의 설명에 더하여, 본 문서에 설명된 임의의 시스템, 프로그램, 관리자, 모듈 또는 피처들이 사용자 정보(예컨대, 사용자의 이미지, 사용자를 설명하는 레이더 데이터, 사용자의 소셜 네트워크, 소셜 활동 또는 행위, 직업, 사용자의 선호도 또는 사용자의 현재 위치에 대한 정보)를 수집할 수 있는지의 여부와 시기 및 사용자가 서버로부터 콘텐츠 또는 통신을 전송받았는지 여부 및 시기 둘다에 대해 사용자가 선택할 수 있도록 하는 제어권이 사용자에게 제공될 수 있다. 또한, 특정 데이터는 저장 또는 사용되기 전에 하나 이상의 방식으로 처리되어 개인 식별 정보가 제거될 수 있다. 예를 들어, 사용자에 대한 개인 식별 정보가 확인될 수 없도록 또는 사용자의 특정 위치를 확인할 수 없도록 위치 정보를 얻은 사용자의 지리적 위치를 일반화하기 위하여(예컨대, 도시, 우편 번호 또는 주 레벨로), 사용자의 신원이 처리될 수 있다. 따라서, 사용자는 사용자에 대해 수집되는 정보, 해당 정보가 사용되는 방법, 사용자에게 또는 사용자에 대해 제공되는 정보를 제어할 수 있다.
시각적 요소의 일례
전술한 바와 같이, 본 명세서에 서술된 기술 및 시스템은, 이용가능한 레이더 제스처 입력 모드를 사용자가 인지할 수 있도록 전자 디바이스(102)가 피드백 및 통지를 제공할 수 있게하며, 그리고 일부 경우, 레이더 제스처의 사용 및 결과에 대한 추가 피드백을 제공한다. 피드백 및 통지는 디스플레이(114) 상에 제시되는 시각적 요소와 같은, 하나 이상의 사용자 인지가능한 요소에 의해 제공된다. 또한, 상기 기술 및 시스템은 보다 응답적이고 보다 효율적인 인증 프로세스를 제공하는데 사용될 수 있는, 사용자의 존재, 부존재, 및 위치에 대한 결정을 가능하게할 수 있다. 예를 들어, 본 발명의 기술을 통해, 전자 디바이스는 사용자가 인증될 준비가 된 때를 예상할 수 있으며 그리고 사용자가 멀리 있을 때(user is away) 디바이스를 언제 잠글지를 더 정확하게 결정할 수 있다. 피드백, 시각적 요소 및 기타 피처들은, 보다 편리하고 덜 답답한(less frustrating) 상호작용을 가능하게 하는데, 왜냐하면 사용자가 입력 모드를 인식하고 있으며 그리고 디바이스가 상호작용하고 입력을 수신할 수 있는 다양한 방식들에 대해 사용자가 확신할 수 있기 때문이다. 도 8 내지 도 16은 제스처 가입 어플리케이션을 실행하는 전자 디바이스(102)의 일례들을 도시하고, 사용자에게 피드백을 제공하기 위해 디스플레이 상에 제시될 수 있는 시각적 요소의 일례들을 도시한다. 다수의 상이한 모드에서 동작하는 전자 디바이스의 일례들 및 상이한 모드에서 디스플레이 상에 제시될 수 있는 시각적 요소들의 일례들이 또한 설명된다.
도 8을 참조하면, 도 8은 800에서, 제스처 가입 어플리케이션이 전자 디바이스(102) 상에서 실행중임을 나타내는데 이용될 수 있는 입력 모드 통지(118)의 일례를 일반적으로 도시한다. 도 8에 도시된 예시적인 디스플레이(114-3)는 실행 중인 제스처 가입 어플리케이션이 없는 전자 디바이스(102)의 상태를 나타낸다. 적어도 하나의 제스처 가입 어플리케이션이 실행 중인 전자 디바이스(102)의 다른 상태는, 다른 예시적인 디스플레이(114-4)에 도시된다. 예시적인 디스플레이(114-4)의 상단에 있는 시각적 요소(802)(예를 들어, 예시적인 입력 모드 통지 118)는 전술한 바와 같이, 전자 디바이스(102)가 레이더 제스처를 통해 입력을 수신할 수 있음을 나타낸다. 시각적 요소(802)는 조명된 라인으로 도시되지만, 위에서 언급된 바와 같이, 다른 위치에서, 다른 조명 레벨에서(예를 들어, 부분적으로만 조명됨), 또는 다른 형상 또는 유형의 요소로서 제시될 수도 있다.
예를 들어, 도 9는, 900에서, 제스처 가입 어플리케이션이 전자 디바이스(102) 상에서 실행중임을 나타내는데 이용될 수 있는 입력 모드 통지(118)의 다른 일례를 일반적으로 도시한다. 도 9에 도시된 예시적인 디스플레이(114-5)는 실행 중인 제스처 가입 어플리케이션이 없는 전자 디바이스(102)의 상태를 나타낸다. 적어도 하나의 제스처 가입 어플리케이션이 실행 중인 전자 디바이스(102)의 다른 상태는, 다른 예시적인 디스플레이(114-6)에 도시된다. 예시적인 디스플레이(114-6)의 상단에 있는 시각적 요소(902)(예컨대, 입력 모드 통지 118의 다른 일례)는 전술한 바와 같이, 전자 디바이스(102)가 레이더 제스처를 통해 입력을 수신할 수 있음을 나타낸다. 시각적 요소(902)는 조명된 영역(예컨대, 빛나는 영역)으로 도시된다. 시각적 요소(802)에서와 같이, 시각적 요소(902)는 디스플레이(114-6)의 다른 위치에서, 다른 조명 레벨에서(예를 들어, 더 많이 조명되거나, 덜 조명됨), 또는 다른 형상 또는 유형의 요소로서 제시될 수도 있다. 다음을 유의해야 하는바, 명료함을 위해, 다른 요소들(예를 들어, 시간, 날짜, 또는 어플리케이션 실행 아이콘)은 예시적인 디스플레이(114-3 내지 114-6)에 도시되지 않았다. 하지만, 다른 구현들에서, 시각적 요소들(802 또는 902)은 다른 콘텐츠와 함께 디스플레이 상에 디스플레이될 수 있다. 또한, 전자 디바이스(102)가 인식 모드, 연계 모드, 활성 모드 또는 다른 모드에 있는 동안 시각적 요소(802 또는 902)가 디스플레이될 수 있다.
일부 구현예에서, 전자 디바이스(102)는 레이더 제스처의 이용가능성에 관련된 보다 상세한 시각적 피드백을 제공할 수 있다. 예를 들어, IMA 관리자(106)는 디스플레이(114)로 하여금 레이더-기반 레이더 제스처를 통해 수신된 입력에 관한 피드백을 제공하는 다른 시각적 요소들을 표시하게 할 수 있다. 도 10 내지 도 13은 레이더 제스처의 사용과 관련된 피드백을 제공하기 위해 시각적 요소가 사용될 수 있는 일부 방법의 추가적인 세부사항을 예시한다.
도 10a 내지 도 10d를 고려하면, 상기 도면들은 일반적으로 1000에서, 제스처 가입 어플리케이션이 레이더 제스처 입력을 수신할 수 있게 하는 제스처 영역 내에 사용자의 손이 존재함을 나타내는데 이용될 수 있는 예시적인 시각적 요소들을 예시한다. 제스처 영역은 스와이프 또는 핀치(pinch)와 같은 레이더 제스처를 전자 디바이스(102)가 수신, 해석 및 작동할 수 있는 전자 디바이스(102)(또는 레이더 시스템 104) 주변의 영역이다. 제스처 영역은 전자 디바이스(102)로부터 임의의 적절한 거리 만큼 연장될 수 있다(예를 들어, 대략 3, 대략 5, 대략 7, 또는 대략 10인치).
도 10a에서, 예시적인 디스플레이(114-7)는(예를 들어, 도 8을 참조하여 설명된 예시적인 디스플레이(114-4)와 유사하게) 적어도 하나의 제스처 가입 어플리케이션이 실행 중인 상태를 나타낸다. 사용자의 손(1002)은 예시적인 디스플레이(114-7) 근처에 도시되지만, 제스처 영역 외부에 도시된다(제스쳐 영역의 경계는 점선(1004)으로 표시됨). 시각적 요소(1006)는 예시적인 디스플레이(114-7)의 상단 근처의 조명된 라인으로 도시되지만, 시각적 요소(1006)는 다른 위치에 또는 다른 형상 또는 유형의 요소(예를 들어, 도 9에 도시된 바와 같이)로서 제시될 수 있다. 도 10b에서, 사용자의 손(1002)은 화살표(1008)에 의해 도시된 바와 같이, 전자 디바이스를 향해 이동하고 제스처 영역(1004)의 경계를 가로지른다. 전자 디바이스가 움직임(1008)을 감지하는 것에 응답하여, 예시적인 디스플레이(114-8)에 도시된 바와 같이, 다른 시각적 요소(1010)가 시각적 요소(1006)를 대체한다. 본 일례에서, 시각적 요소(1010)는 디스플레이의 상단 근처에 있는 더 밝은 라인(예를 들어, 더 많이 조명되거나 또는 완전히 조명됨)이지만, 시각적 요소(1010)는 또한 다른 위치에서 또는 다른 형태 또는 유형의 요소로서 제시될 수 있다.
도 10c에 도시된 바와 같이, 사용자의 손(1002)이 제스처 영역(1004)의 경계 내에 있을 때, 시각적 요소(1010)는 사용자의 손(1002)의 더 작은, 비-제스처 모션을 나타내는 피드백을 제공하는데 사용될 수 있으며, 이는 양단 화살표(double ended arrow)(1012)로 표현된다. 예를 들어, 예시적인 디스플레이(114-9)에 도시된 바와 같이, 시각적 요소는 화살표(1014)로 나타낸 바와 같이, 사용자의 손과 더불어 앞 뒤로 움직임으로써, 사용자의 손의 움직임을 나타내기 위해 움직일 수 있다. 도 10d에서, 사용자의 손(1002)은 화살표(1016)에 의해 도시된 바와 같이, 제스처 영역(1004)의 경계 밖으로 철수한다. 사용자의 손의 움직임에 응답하여, 디스플레이(114)는 예시적인 디스플레이(114-7)에 도시된 바와 같은 상태로 복귀하며, 예시적인 디스플레이(114-7)에서 시각적 요소(1006)는 예시적인 디스플레이(114-7)의 상단 근처에 디스플레이된다.
일부 구현예(도 10a-10d에 도시되지 않음)에서, 상기 비-제스처 모션은 다른 시각적 요소들 또는 다른 시각적 요소들에 대한 변경에 의해서 표현될 수 있다. 예를 들어, 시각적 요소가 "빛나는(glowing)" 형상(예컨대, 밝기, 컬러 또는 기타 속성이 변화하는 형상)인 경우, 움직임을 나타내기 위해 형상의 초점이 이동할 수 있다(형상 자체는 정지 상태를 유지하면서). 추가적으로 또는 대안적으로, 밝기 또는 컬러의 강도에 대한 변경이 모션을 나타내는데 사용될 수 있다(예를 들어, 형상의 밝기 또는 컬러, 또는 형상의 일부가 비-제스처 모션에 따라 변경된다). 시각적 요소(1006 및 1010)는 시각적 요소(1010)의 모션과 함께, 제스처가 이용가능한 때를 사용자(112)가 이해하는데 도움이 될 수 있고, 전자 디바이스(102)가 사용자의 손의 상대적인 위치를 인식하고 있음을 나타내는 피드백을 제공할 수 있으며, 이는 전자 디바이스(102)에 대한 사용자 경험을 개선한다.
도 10c를 참조하여 설명된 바와 같이, 전자 디바이스(102)는 사용자의 손의 움직임에 대응되게, 시각적 요소를 디스플레이 상에서 앞뒤로 움직이는 것과 같이, 제스처 영역 내의 사용자 손의 더 작은, 비-제스처 모션을 나타내기 위한 시각적 피드백을 제공할 수 있다. 이와 유사하게, 사용자(112)가 레이더 제스처(예를 들어, 노래를 건너뛰기 위한 스와이핑 제스처 또는 경고 또는 알림을 해제하기 위한 옴니-제스처)를 수행할 때, 전자 디바이스(102)는 제스처가 성공적으로 수신되었음 통지하거나 또는 제스처 시도가 수신되었지만 이것이 레이더 제스처로 확인될 만큼 충분히 명확하지 않다는 것을 사용자(112)에게 통지하기 위한 피드백을 제공할 수 있다. 예를 들어, 도 11은 일반적으로 1100에서, 제스처가 성공적으로 수신되었음을 사용자(112)에게 통지하는데 사용될 수 있는 예시적인 시각적 요소들의 시퀀스를 도시한다.
도 11에서, 적어도 하나의 제스처-가입 어플리케이션이 실행되고 있고 사용자의 손(1102)이 제스처 영역의 경계 내에 있는 상태인, 예시적인 디스플레이(114-10)가 도시된다(예를 들어, 도 10b를 참조하여 설명된 예시적인 디스플레이(114-8)와 유사함). 예시적인 디스플레이(114-10)는 레이더 제스처의 이용가능성과 사용자의 손(1102)이 제스처 영역 내에 있다는 것을 나타내기 위해, 예시적인 디스플레이(114-10)의 상단 근처에 조명된 라인으로 도시된 시각적 요소(1104)를 제시하고 있다. 도 11의 일례에서, 사용자(112)는 화살표(1106)에 의해 도시된 바와 같이 왼쪽에서 오른쪽으로의 슬라이딩 또는 스와이프 제스처를 수행한다. 사용자의 손(1102)의 모션(1106)에 응답하여, 시각적 요소(1104)는 시퀀스(1108)(점선 직사각형 내에 도시됨)에 도시된 바와 같이 또한 이동한다. 예시적인 디스플레이(114-11)는 화살표(1110)에 의해 도시된 바와 같이, 시각적 요소(1104)가 오른쪽으로 이동하기 시작할 때 시퀀스(1108)의 시작을 도시한다.
시퀀스(1108)는 다른 예시적인 디스플레이(114-12)로 진행되며, 예시적인 디스플레이(114-12)에서 시각적 요소(1104)는 화살표(1112)로 나타내는 바와 같이, 코너 부근에서 구부러진다. 시각적 요소(1104)는 변경가능한 거리 동안 디스플레이(114)의 측면을 따라 계속 내려갈 수 있으며(예를 들어, 시각적 요소의 후단이 굽힘을 완료하자마자 또는 후단이 측면을 따라 특정 거리를 이동한 후), 이후 사라진다. 시퀀스(1108)는 다른 예시적인 디스플레이(114-13)로 진행하며, 시각적 요소(1104)는 예시적인 디스플레이(114-13)의 왼쪽에서 다시 나타나거나 재생성되고, 그리고 화살표(1114)로 표시된 바와 같이 중앙 위치를 향해 이동한다. 일부 구현예에서, 시각적 요소(1104)는 왼쪽으로부터가 아니라 초기 위치에서 다시 나타나거나 재생성될 수 있다(예시적인 디스플레이(114-10)에 도시된 바와 같이). 시퀀스(1108)가 완료되면, 디스플레이는 시각적 요소(1104)가 디스플레이(114)의 상단 부근에 디스플레이되는, 예시적인 디스플레이(114-10)에 도시된 바와 같은 상태로 복귀한다. 일부 구현예에서, 시각적 요소(1104)의 모션은, 손이 제스처 영역의 경계 내에 있는 동안 사용자의 손(1102)을 미묘하게 추적할 수 있다. 시각적 요소(1104)의 모션은, 레이더 제스처가 수락된 때와 제스처가 완료된 때를 사용자(112)가 이해하는데 도움을 줄 수 있으며, 이는 전자 디바이스(102)에 대한 사용자의 경험을 향상시킬 수 있다.
다음을 유의해야 하는바, 시퀀스(1108)는 사용자(112)가 동작을 시작할 때 시작하지만, 제스처와 시퀀스(1108)는 상이한 시간들에서 완료될 수 있다. 또한, 위에서 설명된 바와 같이, 시각적 요소(1104)가 디스플레이(114)의 상단 근처에서 부분적으로 조명된 라인으로 도시되어 있지만, 시각적 요소(1104)는 다른 위치에서 또는 다른 형상 또는 유형의 요소(예를 들어, 도 9에 도시된 바와 같이)로서 제시될 수 있다. 시퀀스(1108)는 또한 디스플레이(114)의 다른 위치에서 시작하여, 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로와 같은 다른 방향으로 진행할 수 있다(예를 들어, 레이더 제스처가 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로 움직이는 경우). 성공적인 레이더 제스처(도 11에 미도시)를 보여주는 시퀀스들의 더 많은 일례들은, 자체적으로 붕괴되고, 잠시 사라지고 나서(예를 들어, 원래 위치로부터) 재생성되는 시각적 요소들을 포함한다. 또한, 다른 일례들은 디스플레이(114)에 수직인 방향으로 이루어진 제스처 또는 디스플레이(114)에 수직인 컴포넌트와의 제스처와 같이, 성공적인 레이더 제스처를 보여주기 위해 구부리거나 휘어지는(예를 들어, 한쪽 끝에서, 양쪽 끝에서, 중간에서, 또는 다른 위치에서) 시각적 요소를 포함한다.
일부 경우, 본 명세서에 기재된 바와 같이, 시각적 요소는 레이더 제스처가 이용가능한 경우에도 숨겨질 수 있다(예컨대, 사용자가 음성 또는 터치 입력과 상호작용하기 때문에, 또는 스크린 번인의 위험을 감소시키기 위해). 이러한 상황에서, 시각적 요소(1104)와 같은 시각적 요소는 사용자가 성공적인 레이더 제스처를 수행할 때 여전히 보여질 수 있다. 사용자가 음악을 듣고 그리고 다른 어플리케이션을 열기 위해 음성 입력을 사용하는 동안, 시각적 요소가 숨겨져 있는 일례를 고려하자. 본 일례에서, 사용자는 노래를 건너뛰기 위해 레이더 제스처를 수행하고, 디스플레이는 레이더 제스처가 성공했음을 사용자에게 알리기 위해 시퀀스(1108)를 제시한다.
일반적으로 도 12는 1200에서, 제스처가 성공적으로 수신되는데 실패했음을 사용자(112)에게 통지하는데 사용될 수 있는 예시적인 시각적 요소의 시퀀스를 도시한다. 도 12에서, 예시적인 디스플레이(114-14)는 적어도 하나의 제스처 가입 어플리케이션이 실행되고 있고, 사용자의 손(1202)이 제스처 영역의 경계 내에 있는 상태를 나타낸다(예를 들어, 도 10b를 참조하여 설명된 예시적인 디스플레이 114-8와 유사함). 예시적인 디스플레이(114-14)는 예시적인 디스플레이(114-14)의 상단 근처에 조명된 라인으로 도시된 시각적 요소(1204)를 제시하고 있으며, 시각적 요소(1204)는 레이더 제스처의 이용가능성과 사용자의 손(1202)이 제스처 영역 내에 있다는 것을 나타낸다. 도 12의 예에서, 사용자(112)는 왼쪽에서 오른쪽으로 슬라이딩 또는 스와이핑 제스처를 시도하지만, 스와이핑 제스처에 대한 충분한 표준을 충족하지 못한다. 예를 들어, 곡선 화살표(1206)에 의해 도시된 바와 같이, 사용자의 손(1202)은 철수하기 전에 관련 방향으로 충분한 거리만큼 이동하는데 실패할 수 있다. 이 경우, 전자 디바이스(102)(또는 레이더 시스템 104)가 사용자의 손(1202)의 모션(1206)을 검출할 때(상기 모션 1206은 레이더 제스처로서 성공적으로 판별되기 위한 충분한 정의가 결여되어 있음), 시각적 요소(1204)는 시퀀스(1208)(점선 직사각형 내에 도시됨)에 도시된 바와 같이 움직인다. 예시적인 디스플레이(114-15)는 화살표(1210)에 의해 도시된 바와 같이, 시각적 요소(1204)가 오른쪽으로 이동하기 시작할 때 시퀀스(1208)의 시작을 도시한다.
시퀀스(1208)는 다른 예시적인 디스플레이(114-16)에서 계속되고, 시각적 요소(1204)는 예시적인 디스플레이(114-16)의 반대쪽 에지에 도달하기 전에 정지하며 그리고 축소된다(예시적인 디스플레이(114-14)에 도시된 시작 길이와 비교하여). 시퀀스(1208)는 또 다른 예시적인 디스플레이(114-17)에서 계속되고, 여기서 시각적 요소(1204)는 다른 화살표(1212)에 의해 도시된 바와 같이, 방향을 반전하며 그리고 원래 위치(본 일례에서는 중심)를 향해 다시 이동하기 시작한다. 시각적 요소(1204)는 또한 원래 길이로 다시 성장하기 시작한다. 다른 구현예들에서는, 정지되고 축소되는 대신에, 시각적 요소(1204)는 방향을 반전시키기 전에 느려지고 바운스될 수 있다. 시퀀스(1208)가 완료되면, 디스플레이는 예시적인 디스플레이(114-14)에 도시된 바와 같은 상태로 돌아가고, 여기서 시각적 요소(1204)는 예시적인 디스플레이(114)의 상단 근처에서 디스플레이되고 그리고 제스처 영역의 경계 내에 남아 있는 동안 사용자의 손(1202)을 미묘하게 추적한다. 시각적 요소(1204)의 모션은 제스처가 성공적으로 완료되지 않았을 경우를 사용자(112)가 이해하는데 도움을 줄 수 있으며, 따라서 사용자는 성공적인 레이더 제스처를 수행하기 위한 기술을 학습할 수 있고, 그리고 시도한 제스처가 실패한 경우를 인식할 수 있는바(예를 들어, 필요한 경우 다시 시도할 수 있도록), 이는 전자 디바이스(102)에 대한 사용자의 경험을 향상시킬 수 있다.
다음을 유의해야 하는바, 사용자(112)가 레이더 제스처를 시도했음을 전자 디바이스(102)(또는 IMA 관리자 106)가 검출했지만(예를 들어, 레이더 데이터의 하나 이상의 서브세트를 이용하여), 수락에 필요한 적어도 하나의 기준을 상기 제스처가 충족하지 못했다라고 또한 결정한 경우, 시퀀스(1208)가 시작될 수 있다. 따라서, 시도된 제스처 및 시퀀스(1208)는 시도된 제스처의 특성 및 시퀀스(1208)의 속도에 따라, 서로 다른 시간에서 완료될 수 있다. 또한, 위에서 설명된 바와 같이, 시각적 요소(1204)가 디스플레이(114)의 상단 근처에서 부분적으로 조명된 라인으로 도시되고 있지만, 시각적 요소(1204)는 다른 위치에서 또는 다른 형상 또는 유형의 요소로서(예를 들어, 도 9에 도시된 바와 같이)제시될 수 있다. 또한, 시퀀스(1208)는 디스플레이(114)의 다른 위치에서 시작하여 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로와 같이 다른 방향으로 진행할 수 있다(예를 들어, 시도된 레이더 제스처가 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로 이동하는 경우). 시퀀스(1208)는 또한 시각적 요소(1204)가 밝기, 광도, 채도 등과 같은 하나 이상의 시각적 속성(도시되지 않음)을 변경하는 시간 기간을 포함할 수 있다. 실패한 레이더 제스처 시도를 보여주는 시퀀스의 다른 일례들은, 잠시 축소되는 것과 같이 부분적으로 자체적으로 붕괴된 다음 원래 크기와 위치로 돌아가는 시각적 요소를 포함한다.
일부 구현예에서, 전자 디바이스(102)는 제스처 일시정지(paused) 모드를 포함하며, 제스처 일시정지 모드는 시스템이 제스처를 수신 또는 해석하기에 비효율적이거나 비효과적(ineffective)임을 조건들이 나타낼 때, 전자 디바이스(102)의 레이더 제스처 기능을 턴오프 또는 중지할 수 있다. 예를 들어, 전자 디바이스(102)가 임계값 이상의 속도로 이동하거나 또는 전자 디바이스(102)가 이동하는 방향이 빠르게 반복적으로 변경되는 경우, 전자 디바이스는 제스처 일시중지 모드로 진입하고 그리고 시각적 피드백을 사용자에게 제공할 수 있다. 전자 디바이스(102)는 레이더 센서(예를 들어, 레이더 시스템 104), 관성 측정 유닛(IMU), 근접 센서(예를 들어, 능동 적외선 근접 센서) 등을 포함하는 다양한 센서들로부터의 입력에 기초하여 제스처 일시중지 모드로 진입하기로 결정할 수 있다. 예를 들어, 사용자(112)가 사용자의 손에 있는 전자 디바이스(102)를 앞뒤로 흔들리면서 걷고 있고 오디오 콘텐츠를 듣고 있는 경우, 이러한 모션은 레이더 기반 스와이프 제스처와 유사할 수 있지만, 사용자(112)는 음악 트랙을 건너뛰거나 볼륨을 조정할 의도가 없다. 따라서, 전자 디바이스(102)의 모션이 제스처 해석 프로세스에 모호성을 도입할 수 있기 때문에, 전자 디바이스(102)는 모호성이 해결될 때까지(예를 들어, 사용자(112)가 걷기를 중지할 때까지) 제스처-일시정지 모드로 진입하기로 결정할 수 있다.
도 13을 고려하면, 도 13은 일반적으로 1300에서, 제스처 가입 어플리케이션이 이용가능하여 레이더 제스처 입력을 수신할 수 있지만, 제스처가 현재 일시중지됨을 나타내는데 사용될 수 있는 예시적인 시각적 요소를 도시한다. 제스처 일시중지 모드는 사용자의 손이 제스처 영역 내에 있든 없든 상관없이, 레이더 제스처를 사용할 수 있을 때마다 활성화될 수 있다. 도 13에서, 예시적인 디스플레이(114-18)는 적어도 하나의 제스처-가입된 어플리케이션이 실행되고 있고 사용자의 손이 제스처 영역의 경계 내에 있는 상태를 나타낸다(예를 들어, 도 10b를 참조하여 설명된 예시적인 디스플레이(114-8)와 유사함). 예시적인 디스플레이(114-18)는 예시적인 디스플레이(114-18)의 상단 근처에서 조명된 라인으로 도시된 시각적 요소(1302)를 제시하고 있으며, 이는 레이더 제스처의 이용가능성 및 사용자의 손(1102)이 제스처 영역 내에 있다는 것을 나타낸다. 사용자(112)가 전자 디바이스(102)가 제스처-일시정지 모드로 들어가게 하는 액션을 취하는 경우(예를 들어, 화살표(1304)로 표시된 바와 같이 사용자(112)가 걷고 있을 때 사용자의 손이 앞뒤로 움직이기 시작함), 시각적 요소(1302)는 시퀀스(1306)(점선 직사각형 내)에 도시된 바와 같이 변경된다.
예시적인 디스플레이(114-19)는 전자 디바이스(102)가 모션(1304)을 검출함에 응답하여, 다른 시각적 요소(1308)가 시각적 요소(1302)를 대체하는 시퀀스(1306)의 개시를 도시한다. 예시적인 디스플레이(114-19)에 도시된 바와 같이, 시각적 요소(1308)는 시각적 요소(1302)보다 더 짧고 흐릿한 다른 라인이다. 시각적 요소(1302)가 특정 컬러를 갖는 구현예에서, 시각적 요소(1308)는 시각적 요소(1302)의 컬러와는 다른 컬러를 가질 수 있다(예를 들어, 회색 또는 흰색과 같이, 컬러는 특정 컬러에서 다른 컬러로 변경될 수 있다). 시퀀스(1306)는 다른 예시적인 디스플레이(114-20)로 계속되며, 여기서 시각적 요소(1308)는 화살표(1310)에 의해 도시된 바와 같이 오른쪽으로 이동하기 시작한다. 시퀀스(1306)는 다른 예시적인 디스플레이(114-21)로 계속되며, 시각적 요소(1308)는 화살표(1312)에 의해 도시된 바와 같이 왼쪽으로 이동한다. 시퀀스(1306)에서, 시각적 요소(1308)는 디스플레이의 측면에 도달하기 전에 정지하고 방향을 바꿀 수 있으며 또는 방향을 바꾸기 전에 에지까지 끝까지 갈 수 있다. 일부 구현예에서, 시각적 요소(1308)는 방향을 반전하기 위해 멈출 때 또한 축소될 수 있고, 그리고 반대 방향으로 움직이기 시작할 때, 그 후에 또는 움직이기 시작함에 따라, 다른 크기로 돌아갈 수 있다. 또한, 시각적 요소(1308)의 진동(oscillation)은 제스처-일시정지 모드의 기반이 되는 조건과 매칭될 수 있다. 예를 들어, 사용자의 팔이 흔들리는 경우, 시각적 요소(1308)의 진동의 속도 또는 주파수는 사용자의 손이 움직이는 속도 또는 빈도와 대략적으로 매칭될 수 있다.
전술한 바와 같이, 시각적 요소(1308)는 디스플레이(114)의 상단 근처에 부분적으로 조명된 라인으로 도시되지만, 시각적 요소(1308)는 다른 위치에서 또는 다른 형상 또는 유형의 요소(예컨대, 도 9에 도시된 바와 같이)로서 제시될 수 있다. 시퀀스(1108)는 또한 디스플레이(114)의 다른 위치에서 시작하여, 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로와 같은 다른 방향으로 진행할 수 있다(예를 들어, 디스플레이(114) 상의 콘텐츠의 방향, 레이더 제스처 입력의 방향 또는 다른 요인에 따라).
전자 디바이스(102)가 제스처 일시정지 모드로부터 빠져나오면, 시퀀스(1306)는 완료되고, 디스플레이(114)는 제스처 가입 어플리케이션이 실행중인지의 여부 및 사용자의 손의 위치에 따라 적절한 상태로 복귀한다. 시각적 요소(1308)의 모션의 시퀀스(1306)는 제스처가 일시중지될 수 있는 때를 사용자(112)가 이해하는데 도움을 줄 수 있으며 그리고 제스처 일시중지 모드를 회피하거나 활용하기 위해 전자 디바이스(102)가 이용되는 방법을 사용자(112)가 조정하게할 수 있으며, 이는 전자 디바이스(102)에 대한 사용자의 경험을 개선할 수 있다.
일부 경우(도 13에 미도시), 가령, 사용자가 전자 디바이스를 사용자 앞에 흔들리지 않게 고정한 채로 걷고 있는 상황과 같이, 사용자의 움직임은 모호함을 도입하지 않을 수도 있다. 이러한 경우, 전자 디바이스는 제스처-일시정지 모드로 진입하지 않으며, 시각적 요소(1302)는 사용자와 전자 디바이스가 움직임에도 불구하고 레이더 제스처가 이용가능하다는 것을 사용자에게 알려주기 위해 하나 이상의 시각적 파라미터를 변경할 수 있다. 예를 들어, 시각적 요소(1302)는 디폴트 컬러에서 다른 컬러로(예를 들어, 회색에서 파란색으로, 회색에서 흰색으로, 또는 흰색에서 파란색으로) 변경할 수 있다.
일부 구현예에서, 전자 디바이스(102)는 전자 디바이스(102)에서 실행되는 제스처 가입 어플리케이션이 몰입 모드(예컨대, 임의의 콘트롤들이 제시되지 않는 풀 스크린 모드)에서 동작하고 있다라고 결정할 수 있다. 이러한 결정에 응답하여, 디스플레이는 도 8-13을 참조하여 설명된 시각적 요소들을 주기적으로 제공할 수 있다(예컨대, 시각적 요소 802, 902, 1006, 1010, 1104, 1204, 1302, 및/또는 1308). 예를 들어, 시각적 요소는 일정 시간 기간 동안 디스플레이에 제공된 다음, 다른 시간 기간 동안 제공되지 않을 수 있다. 시간 기간들은 선택가능하다(예컨대, 몰입형 모드에서 실행 중인 제스처 가입 어플리케이션의 유형, 제스처 가입 어플리케이션의 상태, 또는 사용자(112)가 레이더 제스처를 사용하는 빈도와 같은 요인들에 기초하여, 사용자(112) 또는 전자 디바이스(102)에 의해).
사용자의 위치 및 이동은 또한, 전자 디바이스와 상호작용하고자 하는(또는 상호작용 안함) 사용자의 의도에 대한 표시로서 분류되는 사용자 동작들을 검출하는데 사용될 수 있다. 예를 들어, 전자 디바이스는, 디바이스와 상호작용하는 또는 상호작용 안하는 사용자의 의도에 대한 표시자로서 분류되는 동작들의 라이브러리(예컨대, 메모리 디바이스 내의)에 액세스할 수 있다(예컨대, 전자 디바이스를 향해 손을 뻗는 것(reaching), 전자 디바이스 쪽으로 또는 전자 디바이스로부터 멀어지는 방향으로 회전하거나 또는 걷는 것, 전자 디바이스 쪽으로 몸을 기울이거나 바라보는 것). 일부 경우, 전자 디바이스는 라이브러리에 저장된 동작들을 추가, 제거 또는 수정할 수 있는 머신 러닝 기술을 포함할 수도 있다. 사용자의 존재, 움직임 및 의도를 검출함에 기초하여, 전자 디바이스는 전자 디바이스가 상이한 기능 모드들로 들어가고 나가게 할 수 있으며, 모드들에 기초하여 디스플레이 상에 상이한 시각적 요소들을 제시하게할 수 있다. 이러한 모드들은 전자 디바이스에 대한 다양한 기능들을 가능케할 수 있으며, 그리고 전자 디바이스가 동작중인 모드, 및 이용가능한 서비스들과 기능들을 사용자가 이해하는데 도움을 줄 수 있다. 도 14 내지 도 16은 다중 모드에서 동작하는 전자 디바이스를 예시하고 상이한 모드에서 디스플레이 상에 제시될 수 있는 시각적 요소의 예를 설명한다.
예를 들어, 사용자가 전자 디바이스 주변에서 검출되지 않을 때(예를 들어, 레이더 또는 필드(110), 인식 영역 내에 있지 않을 때), 디바이스는 휴면 모드에서 동작한다. 휴면 모드에서, 디스플레이(예를 들어,디스플레이 114)는 다른 모드 보다 더 적은 수의 시각적 요소를 제시할 수 있거나, 시각적 요소를 제시하지 않을 수 있고, 그리고 디스플레이는 온 또는 오프될 수 있다. 인식 영역 내에 사용자가 존재한다고 전자 디바이스가 결정하면(예를 들어, 레이더 시스템(104)으로부터 레이더 데이터, 또는 레이더 데이터의 하나 이상의 서브세트를 사용하여), 전자 디바이스는 휴면 모드를 종료하고 인식 모드로 들어간다. 인식 모드에서 디스플레이는 전자 디바이스의 상태 또는 기능 레벨을 나타낼 수 있는 하나 이상의 시각적 요소를 제시한다.
전자 디바이스가 인식 모드에 있는 동안, 전자 디바이스는, 전자 디바이스와 상호작용하려는 사용자의 의도에 대한 표시로서 분류되는 사용자 동작을 검출할 수 있다. 이러한 사용자 동작을 검출하는 것에 응답하여, 전자 디바이스는 인증 프로세스를 수행하기 위한 인증 시스템을 준비할 수 있다. 일부 구현들에서, 상호작용하려는 사용자의 의도에 대한 표시를 전자 디바이스가 검출하면, 전자 디바이스는 또한 인식 모드를 종료하고 연계 모드로 들어간다. 연계 모드에서, 디스플레이는 전자 디바이스의 상태 또는 기능 레벨의 변경을 나타낼 수 있는 추가적인 또는 대안적인 시각적 요소를 제시한다. 전자 디바이스는 또한 트리거 이벤트를 검출할 수 있으며, 검출된 트리거 이벤트에 기초하여, 인증 시스템이 사용자를 인증하게할 수 있다. 사용자가 인증되는 것에 응답하여, 전자 디바이스는 인식 모드 또는 연계 모드를 종료하고 활성 모드로 진입한다. 활성 모드에서, 디스플레이는 전자 디바이스의 상태 또는 기능 레벨의 변경을 나타낼 수 있는 추가적인 또는 대안적인 시각적 요소를 제시한다.
도 14는 휴면 모드에서 인식 모드로 전환하는 전자 디바이스의 일례(1400)를 예시한다. 상세도(1400-1)는 사용자(112)가 인식 영역(1402)의 외부에 있는 동안 휴면 모드에 있는 전자 디바이스(102)를 도시한다. 본 일례에서, 인식 영역(1402) 쐐기(wedge) 형상을 가지고 있지만, 언급된 바와 같이, 인식 영역(1402)은 임의의 적절한 형상이나 사이즈를 가질 수 있다. 본 일례에서 계속해서, 이 경우 디스플레이(114)는 예시적인 디스플레이(114-22)에 도시된 바와 같이, 휴면 모드에서는 어떠한 시각적 요소도 제시하지 않는다. 다른 상세도(1400-2)에서, 사용자(112)는 전자 디바이스(102)에 더 가까이 있으며, 이는 사용자(112)가 인식 영역(1402)에 진입했다고 결정된다. 이러한 결정에 기초하여, 전자 디바이스(102)는 화살표(1404)에 의해 도시된 바와 같이 휴면 모드를 종료하고 인식 모드로 들어간다.
상세도(1400-2)에서, 다수의 시각적 요소들이 예시적인 디스플레이(114-23)에 제시된다. 예를 들어, 인식 모드에서, 예시적인 디스플레이(114-23)는 시간 요소(1406)(시계), 날짜 요소(1408), 연결 상태 요소(1410)(예를 들어, Wi-Fi, 셀룰러 또는 기타 네트워크 연결), 및 배터리 레벨 표시기 요소(1412)(그래픽 요소 및 백분율 표시기 포함하여)를 포함한다. 상세도(1400-2)에서, 예시적인 디스플레이(114-23)의 나머지는 비어 있다. 하지만, 일부 구현예에서는 가령, 바탕 화면(wallpaper) 또는 다른 이미지와 같은 배경 이미지를 포함하는 추가 요소들이 표시될 수 있다. 도 14에 도시되지는 않았지만, 사용자(112)가 인식 영역(1402)을 벗어나면, 전자 디바이스(102)는 시각적 요소의 디스플레이를 중단하고 휴면 모드로 돌아갈 수 있다(사용자(112)가 인식 영역(1402) 밖으로 나가는 즉시 또는 선택가능한 미리정해진 시간 동안 사용자(112)가 인식 영역(1402) 밖에 있었던 이후에).
도 15는 인식 모드에서 선택적 연계 모드로 전환하는 전자 디바이스의 일례(1500)를 도시한다. 상세도(1500-1)는 예시적인 디스플레이(114-24) 상에 다수의 시각적 요소들(1406, 1408, 1410, 1412)을 표시하는 것을 포함하여, 도 14를 참조하여 설명된 바와 같이, 인식 영역(1402) 내의 사용자(112) 및 인식 모드에 있는 전자 디바이스(102)를 보여준다. 다른 상세도(1500-2)는 전자 디바이스(102)를 향해 손을 뻗는(reaching) 사용자(112)를 도시한다. 전자 디바이스(102)는, 전자 디바이스(102)와 상호작용하려는 사용자 의도에 대한 표시인 사용자 동작으로서, 상기 손 뻗기(reach)를 검출한다(예를 들어, 레이더 데이터의 하나 이상의 서브세트를 이용하여). 의도를 나타내는 이러한 사용자 동작을 검출하는 것에 응답하여, 전자 디바이스(102)는 화살표(1502)로 도시된 바와 같이 인식 모드를 종료하고 연계 모드로 들어간다.
상세도(1500-2)에서, 추가적인 시각적 요소가 예시적인 디스플레이(114-25)에 제시되어있다. 예를 들어, 연계 모드에서, 예시적인 디스플레이(114-25)는 배경 이미지(1504)(이 경우에, 금문교의 이미지)를 제시한다. 배경 이미지(1504)는 손 뻗기(reach)의 거리 또는 속도에 따라 변화하는 애니메이션, 또는 가변 밝기 또는 투명도 레벨과 같이, 사용자의 컨텍스트에 따라 조정되는 동적 피처를 가질 수 있다. 연계 모드에 있는 동안, 전자 디바이스(102)는 또한 인증 프로세스를 수행하기 위해 인증 시스템을 준비할 수 있다(일부 경우에 전자 디바이스(102)는 사용자 의도를 나타내는 사용자 동작에 응답하여, 연계 모드로 진입하지 않고 대신에 인식 모드에 있는 동안 인증 시스템을 준비한다). 따라서, 예시적인 디스플레이(114-25)는 또한 잠금 아이콘(1506)을 제시하며, 잠금 아이콘(1506)은 사용자(112)가 인증될 때까지 전자 디바이스(102)에 대한 전체 액세스가 이용불가능함을 나타낸다. 일부 구현들에서, 추가적인 시각적 요소들이 예시적인 디스플레이(114-25) 상에 디스플레이될 수 있고, 예시적인 디스플레이(114-24) 상에 제시된 시각적 요소들 중 일부 또는 전부는 제시되는 것이 중단될 수 있다. 도 15에는 도시되지 않았지만, 사용자(112)가 손 뻗기 제스처(reach gesture)를 철회하는 경우, 전자 디바이스(102)는 연계 모드를 종료하고 인식 모드로 복귀할 수 있다(즉시 또는 손 뻗기가 철회된 후 선택가능한 미리결정된 시간 이후에).
도 16은 사용자(112)가 인증된 이후에 연계 모드로부터 활성 모드로 전환하는 전자 디바이스의 일례(1600)를 도시한다(일부 구현들에서, 전자 디바이스는 인식 모드에서 활성 모드로 전환할 수 있음을 주목하라). 상세도(1600-1)는 예시적인 디스플레이(114-26) 상에 다수의 시각적 요소들(1406, 1408, 1410, 1412, 1504, 1506)을 디스플레이하는 것을 포함하여, 도 15를 참조하여 언급된 바와 같이, 인식 영역(1402) 내의 사용자(112) 및 연계 모드에 있는 전자 디바이스(102)를 도시한다. 도 15를 참조하여 언급된 바와 같이, 사용자가 전자 디바이스(102)를 향해 손을 뻗는 경우, 인증 시스템은 사용자(112)를 인증할 준비를 한다. 도 16의 다른 상세도(1600-2)는 사용자(112)가 전자 디바이스(102)를 집어들었음(pick up)을 보여준다. 상술한 바와 같이, 전자 디바이스(102)는 집어들었음(being picked up)이 트리거 이벤트라고 결정하고, 사용자(112)를 인증한다. 사용자(112)가 인증되면, 전자 디바이스(102)는 화살표(1602)에 의해 도시된 바와 같이 연계 모드(또는 인식 모드)를 종료하고 활성 모드로 들어간다.
상세도(1600-2)에 도시된 바와 같이, 활성 모드와 관련된 추가적인 시각적 요소들이 예시적인 디스플레이(114-27) 상에 제시될 수 있다. 예를 들어, 활성 모드에서, 예시적인 디스플레이(114-27)는 인식 모드와 관련된 시각적 요소를 계속 제시하지만, 배경 이미지(1504)(연계 모드와 관련된)는 해변 실루엣인 다른 배경 이미지(1604)로 변경되었다(배경 이미지(1604)는 다른 컬러 체계를 갖기 때문에 시각적 요소 중 일부는 사용자(112)가 여전히 볼 수 있도록 콘트라스트 또는 컬러를 변경했다). 또한, 연계 모드 잠금 아이콘(1506)은 사용자(112)가 인증되었음을 나타내는 잠금해제 아이콘(1606)으로 전환되었다. 일부 구현들에서, 잠금해제 아이콘(1606)은 일정 시간 동안 제시되고 그 후 페이드될 수 있다. 도 16에 도시되어 있지는 않지만, 잠금해제 아이콘(1606)이 페이드된 이후에, 예를 들어, 지시(예를 들어, "스와이프하거나 탭하여 열림"), 하나 이상의 어플리케이션 실행 아이콘, 또는 전자 디바이스(102)에서 이용가능한 다른 시각적 요소 등과 같은, 추가적인 시각적 요소들이 예시적인 디스플레이(114-27) 상에 디스플레이될 수 있다.
일부 구현예에서, 인식 영역(예컨대, 인식 영역 1402) 내에 또는 사용자(112)의 존재를 레이더 시스템이 검출할 수 있는 또 다른 정의된 영역 내에 사용자(112)가 남아있는 한, 사용자는 인증된 채로 남아있을 수도 있다. 이러한 구현예에서, 디스플레이(114)는 전원이 공급된 상태(powered)를 유지할 수 있고 그리고 입력을 수신하고 콘텐츠를 제시할 수 있으며 또는 배터리를 절약하기 위해 스크린이 턴오프될수도 있다. 사용자(112)가 인증된 상태를 유지하기 때문에, 스크린이 꺼져 있어도, 사용자는 스크린을 터치하거나, 디바이스를 집어들거나, 또는 다른 동작을 통해 전자 디바이스(102)에 액세스할 수 있다(재인증될 필요없이). 이러한 방식으로, 배터리 전력을 보존하면서도 전자 디바이스(102)에 대한 사용자의 즐거움 및 경험이 향상될 수 있다.
또한, 예컨대, 휴면 모드로부터, 인식 및 연계 모드를 통해, 인증 및 활성 모드로의 모드들 사이에서의 전술한 진행은, 반대 방향으로 실행될 수도 있다. 예를 들어, 전자 디바이스(102)가 활성 모드에 있고 사용자(112)가 그것을 내려놓을 때(예컨대, 다른 트리거 이벤트가 발생함), 전자 디바이스는 잠금 상태로 들어갈 수 있고(예를 들어, 사용자(112)를 인증 해제함), 및/또는 위에서 설명된 바와 같이 전자 디바이스(102)는 연계 모드 또는 인식 모드에 놓일 수도 있다. 따라서, 사용자의 손이 전자 디바이스(102) 근처에 남아 있으면(예를 들어, "손 뻗기" 위치에 남아 있으면), 전자 디바이스(102)는 연계 모드에 남아 있을 수 있다. 반대로, 사용자의 손이 철수하면, 전자 디바이스(102)는 인식 모드로 진입할 수 있다. 다음으로, 앞서 언급된 바와 같이, 전자 디바이스(102)는 사용자가 인식 영역에 있는 동안 인식 모드에 남아 있을 수 있다. 영역들 사이에서의 이러한 진행 동안, 디스플레이(114)는 전자 디바이스(102)의 상태 변화를 사용자(112)에게 나타내기 위해 각각의 구역에 대한 전술한 시각적 요소들을 제시할 수 있다.
전술한 바와 같이, 일부 구현예에서, 전자 디바이스(102)에서 실행되는 어플리케이션은 레이더 기반의 3D 제스처(레이더 제스처)를 통해 입력을 수신할 수 있다. 이러한 경우에, 레이더 시스템(104)은 사용자(112)에 의한 손 뻗기(reach)를 검출하고 그리고 전자 디바이스(102)의 컨텍스트에 기초하여 동작을 수행할 수 있다. 예를 들어, 전자 디바이스가 전술한 모드들 중 임의의 모드에 있을 때, 사용자(112)는 전화를 받거나, 알람, 경고 또는 통지를 수신하거나, 전자 디바이스를 통해 음악을 재생할 수 있다. 이러한 상황에서 사용자는 동작에 응답하기 위해 전자 디바이스를 향해 손을 뻗을 수 있다. 따라서, 손 뻗기는, 전화 호출 또는 알람 동안 벨소리를 줄이거나 무음으로 만들 수 있다. 또한, 경고 또는 통지가 표시되고 있음을 사용자(112)가 알아차리고, 전자 디바이스를 향해 손을 뻗으면, 상기 통지가 해제(dismiss)되거나 대화형이 될 수 있다. 예를 들어, 사용자의 손 뻗기를 검출하면, 전자 디바이스는 알림/통지를 해제 또는 연기하거나, 회신하거나(메시지 또는 이메일 통지의 경우)하거나, 또는 다른 방식으로 사용자가 응답할 수 있게하는 모드에서 통지를 디스플레이할 수 있다. 일부 경우, 디스플레이된 통지는 컬러나 사이즈를 변경할 수도 있다. 사용자(112)가 음악을 듣고 있는 일례에서, 손 뻗기는, 전자 디바이스로 하여금 음악 재생기에 대한 제어 화면(control screen)을 제시하게 할 수 있으며, 따라서 사용자는 트랙, 볼륨, 또는 다른 파라미터를 제어할 수 있다.
이러한 피처들의 전부 또는 일부는 상이한 모드들에서 이용가능할 수 있고 그리고 어떤 피처들이 이용가능한지를 사용자가 선택할 수 있다. 예를 들어, 사용자(112)는 모든 모드에서 볼륨 묵음 및 음악 제어를 허용할 수 있지만, 오직 활성 모드에서만 경고 및 통지에 응답하는 것을 허용할 수 있다(예를 들어, 사용자가 인증되었고 인식 영역을 떠나지 않은 경우). 피처들 및 허용 레벨들의 다른 조합들도 사용자가 선택할 수 있다.
인식 영역 내에서 사용자의 존재를 검출하기 위해 레이더 감지가 이용되는 구현예들 및 전자 디바이스와 상호작용하려는 사용자 의도에 대한 표시로서 분류되는 사용자 동작을 검출하기 위해 레이더가 이용되는 구현예들(이들 중 어느 하나는 대부분의 현대적인 스마트폰에 제공되는 온-디바이스 카메라를 사용하여 대안으로 달성될 수 있음)을 포함하는, 서술된 구현예들의 장점들 중 하나는, 레이더 설비의 전력 사용량이 카메라 설비의 전력 사용량보다 실질적으로 적은 반면에, 결과의 적절성(propriety)은 종종 카메라 설비 보다 레이더 설비가 더 좋을 수 있다는 점이다. 예를 들어, 전술한 레이더 설비를 사용하면, 결정을 내리기 위해 레이더 벡터 데이터를 프로세싱하기 위한 프로세싱 전력을 포함하더라도, 한 자리수 밀리와트에서 단지 수십 밀리와트(예컨대, 10mW, 20mW, 30mW 또는 40mW)까지의 범위를 갖는 평균 전력에서, 원하는 사용자 상태 또는 사용자 의도 검출이 달성될 수 있다. 이러한 낮은 레벨의 전력에서는, 레이더 설비를 상시 가동 상태로 유지하는 것이 쉽게 허용된다. 예를 들어, 스마트폰 레이더 설비가 항상 켜져 있는 상태에서, 여러 시간 동안 스마트폰으로부터 방 건너편에 앉아 있는 사용자에게 현재 설명된 바람직한 즐겁고 원활한 경험이 여전히 제공될 수 있다.
이와 반대로, 대부분의 현대적인 스마트폰에 제공되는 광학 카메라는 수백 밀리와트의 전력에서 동작하는 것이 일반적이다(예컨대, 40 밀리와트보다 큰 크기의 전력, 가령 400 mW). 이러한 전력 비율에서, 광학 카메라는 매우 불리한데, 왜냐하면 광학 카메라는 오늘날 대부분의 스마트폰의 배터리 수명을 크게 감소시키므로, 광학 카메라를 항상 켜진 상태로 유지하는 것이 금지되는 것은 아니지만 매우 비실용적이기 때문이다. 레이더 설비의 또 다른 장점은, 화면이 위를 향하도록(face up) 평평하게 테이블 위에 놓여있는 경우에도(셀피 카메라와 동일한 일반적인 방향으로 레이더 칩이 밖을 향하고 있는 통상적인 많은 구현예들의 경우), 임의의 방향으로부터 걸어오는 사용자를 충분히 용이하게 검출할 수 있을 정도로 시야가 매우 클 수 있다는 점이며, 또한, 도플러 프로세싱 능력으로 인하여, 다양한 방향으로부터 이동하는 객체들의 상대적으로 미묘한 움직임을 감지하는데 매우 효과적일 수 있다는 점이다(특히 60 GHz 부근의 작동 주파수에서).
또한, 레이더 설비는 카메라 설비의 성능이 감소되거나 제한되는 환경에서도 동작할 수 있다. 예를 들어, 저조도 환경에서 카메라 설비은 형상이나 움직임을 감지하는 능력이 떨어질 수 있다. 대조적으로, 레이더 설비는 저조도 환경에서도 완전 조명에서와 같이 잘 동작한다. 또한, 레이더 설비는 일부 장애물을 통해 존재 및 제스처를 감지할 수 있다. 예를 들어, 스마트폰이 주머니, 재킷 또는 바지에 있는 경우, 카메라 설비는 사용자나 제스처를 감지할 수 없다. 하지만, 레이더 설비는 카메라 설비를 차단하는 직물을 통해서도 해당 필드 내의 객체를 감지할 수 있다. 스마트폰의 온보드 비디오 카메라 설비에 비하여 레이더 설비를 사용하는 것의 또 다른 장점은 프라이버시이며, 이에 의해 사용자는 여기에 설명된 즐겁고 끊김없는 경험의 장점을 가질 수 있으며, 이와 동시에 이러한 목적으로 이들을 촬영하는 비디오 카메라가 있는지를 걱정할 필요가 없다.
예시적인 컴퓨팅 시스템
도 17은 다중 입력 모드에 대한 입력 모드 통지를 구현하기 위해 이전의 도 1 내지 도 16을 참조하여 설명된 바와 같은 임의의 유형의 클라이언트, 서버, 및/또는 전자 디바이스로서 구현될 수 있는 예시적인 컴퓨팅 시스템(1700)의 다양한 컴포넌트들을 도시한다.
컴퓨팅 시스템(1700)은 디바이스 데이터(1704)(예컨대, 레이더 데이터, 인증 데이터, 참조 데이터, 수신된 데이터, 수신중인 데이터, 브로드캐스팅될 데이터 및 데이터의 데이터 패킷들)의 유선 및/또는 무선 통신을 가능케하는 통신 디바이스(1702)를 포함한다. 디바이스 데이터(1704) 또는 다른 디바이스 콘텐츠는 디바이스의 구성 세팅들, 디바이스에 저장된 미디어 콘텐츠, 및/또는 디바이스의 사용자와 관련된 정보(예컨대, 레이더 필드 내의 사람의 신원 또는 맞춤형 제스처 데이터)를 포함할 수 있다. 컴퓨팅 시스템(1700)에 저장된 미디어 콘텐츠는 임의의 유형의 레이더, 생체 인식, 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 컴퓨팅 시스템(1700)은 하나 이상의 데이터 입력들(1706)을 포함할 수 있으며, 가령, 인간의 발화, 레이더 필드와의 상호작용(예를 들어, 레이더 제스처), 터치 입력, 사용자가 선택할 수 있는 입력 또는 상호작용(명시적 또는 암시적), 메시지, 음악, 텔레비전 미디어 콘텐츠, 녹화된 비디오 콘텐츠 및 임의의 콘텐츠 및/또는 데이터 소스로부터 수신된 임의의 다른 유형의 오디오, 비디오 및/또는 이미지 데이터와 같은 임의 유형의 데이터, 미디어 콘텐츠, 및/또는 입력들이 데이터 입력들(1706)을 통해 수신될 수 있다.
또한, 컴퓨팅 시스템(1700)은 통신 인터페이스(1708)를 포함하고, 통신 인터페이스(1708)는 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의 유형의 네트워크 인터페이스, 모뎀, 및 임의의 다른 유형의 통신 인터페이스 중 하나 이상으로서 구현될 수 있다. 통신 인터페이스(1708)는 컴퓨팅 시스템(1700)과 통신 네트워크 사이의 연결 및/또는 통신 링크를 제공하며, 이에 의해서 다른 전자, 컴퓨팅 및 통신 디바이스가 컴퓨팅 시스템(1700)과 데이터를 통신한다.
컴퓨팅 시스템(1700)은 하나 이상의 프로세서(1710)(예를 들어, 임의의 마이크로프로세서, 콘트롤러, 또는 다른 콘트롤러)를 포함하며, 하나 이상의 프로세서(1710)는 컴퓨팅 시스템(1700)의 동작을 제어하고 그리고 다중 입력 모드에 대한 입력 모드 통지를 구현하는 것을 가능케하기 하기 위해 다양한 컴퓨터 실행가능한 명령들을 프로세싱할 수 있다. 대안적으로 또는 추가적으로, 컴퓨팅 시스템(1700)은 일반적으로 1712로 식별되는 프로세싱 및 제어 회로와 관련하여 구현되는 하드웨어, 펌웨어, 또는 고정 논리 회로의 임의의 하나 이상의 조합으로 구현될 수 있다. 도시되지는 않았지만, 컴퓨팅 시스템(1700)은 디바이스 내의 다양한 구성요소들을 연결하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 컨트롤러, 주변회로 버스, 범용 직렬 버스 및/또는 다양한 버스 아키텍처 중 임의의 것을 활용하는 프로세서 또는 로컬 버스와 같은 다양한 버스 구조들 중 임의의 하나 이상의 조합을 포함할 수 있다. 또한, 도시되지 않았지만, 컴퓨팅 시스템(1700)은 비-레이더 센서(108)와 같은 하나 이상의 비-레이더 센서를 포함할 수 있다.
컴퓨팅 시스템(1700)은 또한 지속적 및/또는 비일시적인 데이터 저장(단순한 신호 전송과 대비되는)을 가능케하는 하나 이상의 메모리 디바이스와 같은 컴퓨터 판독가능 매체(1714)를 포함하며, 이러한 것들의 일례들은 랜덤 액세스 메모리(RAM), 비휘발성 메모리(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, EPROM, EEPROM, 기타 등등 중 하나 이상), 및 디스크 저장 디바이스를 포함한다. 디스크 저장 디바이스는 하드 디스크 드라이브, 기록 및/또는 재기록 가능한 컴팩트 디스크(CD), 모든 유형의 디지털 다용도 디스크(DVD) 등과 같은 모든 유형의 자기 또는 광학 저장 디바이스로 구현될 수 있다. 컴퓨팅 시스템(1700)은 또한 대용량 저장 매체 디바이스(저장 매체)(1716)를 포함할 수 있다.
컴퓨터 판독가능 매체(1714)는 디바이스 데이터(1704), 다양한 디바이스 어플리케이션(1718), 컴퓨팅 시스템(1700)의 동작 양상에 관련된 임의의 다른 유형의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘을 제공한다. 예를 들어, 운영 체제(1720)는 컴퓨터 판독가능 매체(1714)와 관련된 컴퓨터 어플리케이션으로서 유지되고 프로세서(1710) 상에서 실행될 수 있다. 디바이스 어플리케이션(1718)은 임의 형태의 제어 어플리케이션, 소프트웨어 어플리케이션, 신호-처리 및 제어 모듈, 특정 디바이스 고유의 코드, 추상화 모듈, 제스처 인식 모듈 및 기타 모듈 등과 같은 디바이스 관리자를 포함할 수 있다. 디바이스 어플리케이션(1718)은 또한 레이더 시스템(104), IMA 관리자(106) 또는 어플리케이션 관리자(116)와 같은, 다중 입력 모드에 대한 입력 모드 통지를 구현하기 위한 시스템 컴포넌트, 엔진, 모듈, 또는 관리자를 포함할 수 있다. 컴퓨팅 시스템(1700)은 또한 하나 이상의 머신 러닝 시스템을 포함하거나 이에 대한 액세스 권한을 가질 수 있다.
몇 가지 예제들은 다음과 같다.
예제 1: 전자 디바이스로서,
디스플레이;
적어도 부분적으로 하드웨어로 구현된 레이더 시스템, 상기 레이더 시스템은,
레이더 필드를 제공하고,
레이더 필드 내의 사용자로부터의 반사를 감지하고,
레이더 필드 내의 사용자로부터의 반사를 분석하고,
반사의 분석에 기초하여 레이더 데이터를 제공하며;
하나 이상의 컴퓨터 프로세서; 및
상기 하나 이상의 컴퓨터 프로세서에 의한 실행에 응답하여 레이더 기반 입력 모드 가용성 관리자를 구현하는 명령들이 저장된 하나 이상의 컴퓨터 판독가능 매체를 포함하고, 상기 레이더 기반 입력 모드 가용성 관리자는,
전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는지를 결정하고;
사용자가 전자 디바이스의 임계 거리 내에 있는지 결정하고; 그리고
전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 가지며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 상기 디스플레이로 하여금 입력 모드를 통지를 제시하게 하며, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련된다.
예제 2: 예제 1의 디바이스로서, 상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소이다.
예제 3: 예제 1 또는 2의 디바이스로서, 상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소이고, 상기 시각적 요소는 디스플레이의 활성 영역의 일부를 포함하며, 상기 디스플레이의 활성 영역의 일부는,
상기 시각적 요소 근방의 디스플레이의 다른 부분의 시각적 속성과는 다른 시각적 속성, 특히, 광도, 컬러, 콘트라스트, 형상, 채도, 번짐(blur), 또는 불투명도 중 적어도 하나를 가지며;
상기 디스플레이의 활성 영역의 에지에 인접한 측면(side)을 갖는다.
예제 4: 예제 3의 디바이스로서, 상기 시각적 요소의 시각적 속성은 상기 디스플레이의 활성 영역의 에지에 인접한 상기 측면으로부터 상기 시각적 요소의 다른 하나의 측면까지 변한다.
예제 5: 예제 1 내지 4 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
디스플레이 상에 제시된 콘텐츠의 방향을 획득하고,
디스플레이 상에 제시된 콘텐츠의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향을 결정하고; 그리고
상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 기초하여, 디스플레이로 하여금 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 대응되는, 디스플레이의 활성 영역의 특정 에지에서 입력 모드 통지를 제시하게 한다.
예제 6: 예제 1 내지 5 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
사용자에 대한 전자 디바이스의 방향의 변화를 검출하고,
사용자에 대한 전자 디바이스의 방향의 변화에 기초하여, 디스플레이로 하여금 사용자에 대한 입력 모드 통지의 방향을 유효하게 유지하도록 활성 디스플레이의 다른 에지에 입력 모드 통지를 제시하게 한다.
예제 7: 예제 1 내지 6 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다고 결정하고;
전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다는 결정에 응답하여, 디스플레이로 하여금,
몰입 모드의 결정 이후의 프레젠테이션 지속 시간 동안 입력 모드 통지를 제시하고; 그리고
프레젠테이션 지속 시간의 종료에 응답하여, 비(non) 프레젠테이션 지속 시간 동안 입력 모드 통지의 제시를 중단하게 한다.
예제 8: 예제 1 내지 7 중 임의의 예제의 디바이스로서,
전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는다는 결정, 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정, 및 입력 모드 통지를 제시하는 것은, 전자 디바이스가 잠금해제 상태에 있는 동안; 또는 전자 디바이스가 잠금 상태에 있는 동안에 수행된다.
예제 9: 예제 1 내지 8 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
사용자가 전자 디바이스와 상호작용하고 있다고 결정하고, 사용자가 전자 디바이스와 상호작용하고 있다는 결정은 사용자가 터치 입력을 사용하고 있다는 결정 또는 사용자가 전자 디바이스를 집어 들었다는 결정을 포함하고;
사용자가 전자 디바이스와 상호작용하고 있다는 결정에 응답하여, 디스플레이로 하여금 입력 모드 통지를 제시하는 것을 중단하게 하고;
사용자가 전자 디바이스와의 상호작용을 중단했다고 결정하고, 사용자가 전자 디바이스와 상호작용을 중단했다는 결정은 사용자가 터치 입력을 사용하는 것을 중단했다는 결정 또는 사용자가 전자 디바이스를 내려놓았다는 결정을 포함하고; 그리고
사용자가 전자 디바이스와의 상호작용을 중단했다는 결정에 응답하여, 디스플레이로 하여금 입력 모드 통지를 제시하게 한다.
예제 10: 예제 1 내지 9 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정하고;
입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정함에 응답하여,
디스플레이로 하여금 배경 컬러와는 다른 컬러로 입력 모드 통지를 제시하게 하고, 상기 다른 컬러는 입력 모드 통지가 디스플레이되는 디스플레이 영역과 입력 모드 통지 사이에서 사람이 식별할 수 있는 콘트라스트를 유효하게 제공한다.
예제 11: 예제 1 내지 10 중 임의의 예제의 디바이스로서, 상기 레이더 기반 입력 모드 가용성 관리자는 또한,
전자 디바이스의 동작 상태, 스크린 상태, 전력 상태 또는 기능 모드 중 적어도 하나를 결정하고, 상기 전자 디바이스의 동작 상태, 스크린 상태, 전력 상태, 또는 기능 모드는 입력 모드 통지가 임계 기간보다 더 오래 제시되었음을 나타내며; 그리고
상기 전자 디바이스의 동작 상태, 스크린 상태, 전력 상태, 및/또는 기능 모드가, 상기 입력 모드 통지가 임계 기간보다 더 오래 제시되었음을 나타낸다는 결정에 응답하여, 디스플레이로 하여금,
다른 위치에서 입력 모드 통지를 제시하게 하거나, 또는
지속 시간 동안 입력 모드 통지의 제시를 중단하게 하며, 그리고
상기 지속 시간의 종료에 응답하여 입력 모드 통지를 다른 지속 시간 동안 제시하게 한다.
예제 12: 디스플레이와 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법으로서,
전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는지를 결정하는 단계, 레이더 제스처 입력은 레이더 시스템에 의해 생성된 레이더 데이터에 의해 정의되고;
레이더 데이터의 하나 이상의 서브세트에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 단계; 및
전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 가지며 그리고 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 전자 디바이스의 디스플레이 상에 입력 모드 통지를 제공하는 단계를 포함하고, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련된다.
예제 13: 예제 12의 방법으로서, 입력 모드 통지를 제공하는 단계는, 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소를 제공하는 단계를 포함한다.
예제 14: 예제 12 또는 13의 방법으로서, 상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소이고, 상기 시각적 요소는 디스플레이의 활성 영역의 일부를 포함하며, 상기 디스플레이의 활성 영역의 일부는,
상기 시각적 요소 근방의 디스플레이의 다른 부분의 시각적 속성과는 다른 시각적 속성, 특히, 광도, 컬러, 콘트라스트, 형상, 채도, 번짐(blur), 또는 불투명도 중 적어도 하나를 가지며;
상기 디스플레이의 활성 영역의 에지에 인접한 측면(side)을 갖는다.
예제 15: 예제 14의 방법으로서, 상기 시각적 요소의 시각적 속성은, 상기 디스플레이의 활성 영역의 에지에 인접한 상기 측면으로부터 상기 시각적 요소의 다른 하나의 측면까지 변한다.
예제 16: 예제 12 내지 15 중 임의의 예제의 방법으로서,
디스플레이 상에 제시된 콘텐츠의 방향을 획득하는 단계;
디스플레이 상에 제시된 콘텐츠의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향을 결정하는 단계; 및
상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 대응되는, 디스플레이의 활성 영역의 에지 상에 입력 모드 통지를 제공하는 단계를 더 포함한다.
예제 17: 예제 12 내지 16 중 임의의 예제의 방법으로서,
사용자에 대한 전자 디바이스의 방향의 변화를 검출하는 단계; 및
사용자에 대한 전자 디바이스의 방향의 변화에 기초하여, 사용자에 대한 입력 모드 통지의 방향을 유효하게 유지하도록 활성 디스플레이의 다른 에지 상에 입력 모드 통지를 제공하는 단계를 더 포함한다.
예제 18: 예제 12 내지 17 중 임의의 예제의 방법으로서,
전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다고 결정하는 단계;
전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다는 결정에 응답하여,
몰입 모드의 결정 이후의 프레젠테이션 지속 시간 동안 입력 모드 통지를 제공하는 단계; 및
프레젠테이션 지속 시간의 종료에 응답하여, 비(non) 프레젠테이션 지속 시간 동안 입력 모드 통지의 제공을 중단하는 단계를 더 포함한다.
예제 19: 예제 12 내지 18 중 임의의 예제의 방법으로서,
전자 디바이스가 잠금해제 상태에 있는 동안 상기 방법의 단계들을 수행하는 단계; 또는 전자 디바이스가 잠금 상태에 있는 동안 상기 방법의 단계들을 수행하는 단계를 더 포함한다.
예제 20: 예제 12 내지 19 중 임의의 예제의 방법으로서,
입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정하는 단계; 및
입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정함에 응답하여, 배경 컬러와는 다른 컬러로 입력 모드 통지를 제공하는 단계를 포함하고, 상기 다른 컬러는 입력 모드 통지가 디스플레이되는 디스플레이 영역과 입력 모드 통지 사이에서 사람이 식별할 수 있는 콘트라스트를 유효하게 제공한다.
결론
다중 입력 모드에 대한 입력 모드 통지를 위한 기술들 및 장치들의 구현예들이 피처들 및/또는 방법들에 특정한 언어로 서술되었지만, 첨부된 청구 범위의 주제는 설명된 특정 피처나 방법만으로 반드시 제한되는 것은 아니다. 오히려, 특정 피처 및 방법은 다중 입력 모드에 대한 입력 모드 통지를 가능하게 하는 예시적인 구현으로서 개시된다.

Claims (20)

  1. 전자 디바이스로서,
    디스플레이;
    적어도 부분적으로 하드웨어로 구현된 레이더 시스템, 상기 레이더 시스템은,
    레이더 필드를 제공하고,
    레이더 필드 내의 사용자로부터의 반사를 감지하고,
    레이더 필드 내의 사용자로부터의 반사를 분석하고,
    반사의 분석에 기초하여 레이더 데이터를 제공하고;
    레이더 제스처 입력을 수신하는 것에 상관없이 그리고 상기 레이더 데이터에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하며;
    하나 이상의 컴퓨터 프로세서;
    상기 하나 이상의 컴퓨터 프로세서에 의한 실행에 응답하여 레이더 기반 입력 모드 가용성 관리자를 구현하는 명령들이 저장된 하나 이상의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 레이더 기반 입력 모드 가용성 관리자는,
    레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 상기 전자 디바이스 상에서 동작하는지를 결정하고;
    레이더 제스처 입력을 수신하는 것에 상관없이 그리고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 전자 디바이스 상에서 동작하고 있으며, 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 상기 디스플레이로 하여금 입력 모드 통지를 제시하게 하며, 상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련되는 것을 특징으로 하는 전자 디바이스.
  2. 제1항에 있어서,
    상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소인 것을 특징으로 하는 전자 디바이스.
  3. 제2항에 있어서,
    상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소이고, 상기 시각적 요소는 디스플레이의 활성 영역의 일부를 포함하며, 상기 디스플레이의 활성 영역의 일부는,
    상기 시각적 요소 근방의 디스플레이의 다른 부분의 시각적 속성과는 다른 시각적 속성, 특히, 광도, 컬러, 콘트라스트, 형상, 채도, 번짐(blur), 또는 불투명도 중 적어도 하나를 가지며;
    상기 디스플레이의 활성 영역의 에지에 인접한 측면(side)을 갖는 것을 특징으로 하는 전자 디바이스.
  4. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    디스플레이 상에 제시된 콘텐츠의 방향을 획득하고,
    디스플레이 상에 제시된 콘텐츠의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향을 결정하고; 그리고
    상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 기초하여, 디스플레이로 하여금 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 대응되는, 디스플레이의 활성 영역의 특정 에지에서 입력 모드 통지를 제시하게 하는 것을 특징으로 하는 전자 디바이스.
  5. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    사용자에 대한 전자 디바이스의 방향의 변화를 검출하고,
    사용자에 대한 전자 디바이스의 방향의 변화에 기초하여, 디스플레이로 하여금 사용자에 대한 입력 모드 통지의 방향을 유효하게 유지하도록 활성 디스플레이의 다른 에지에 입력 모드 통지를 제시하게 하는 것을 특징으로 하는 전자 디바이스.
  6. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다고 결정하고;
    전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다는 결정에 응답하여, 디스플레이로 하여금,
    몰입 모드의 결정 이후의 프레젠테이션 지속 시간 동안 입력 모드 통지를 제시하고; 그리고
    프레젠테이션 지속 시간의 종료에 응답하여, 비(non) 프레젠테이션 지속 시간 동안 입력 모드 통지의 제시를 중단하게 하는 것을 특징으로 하는 전자 디바이스.
  7. 제1항에 있어서,
    전자 디바이스 상에서 동작하는 어플리케이션이 레이더 제스처 입력을 수신하는 능력을 갖는다는 결정, 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정, 및 입력 모드 통지를 제시하는 것은,
    전자 디바이스가 잠금해제 상태에 있는 동안; 또는
    전자 디바이스가 잠금 상태에 있는 동안에 수행되는 것을 특징으로 하는 전자 디바이스.
  8. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    사용자가 전자 디바이스와 상호작용하고 있다고 결정하고, 사용자가 전자 디바이스와 상호작용하고 있다는 결정은 사용자가 터치 입력을 사용하고 있다는 결정 또는 사용자가 전자 디바이스를 집어 들었다는 결정을 포함하고;
    사용자가 전자 디바이스와 상호작용하고 있다는 결정에 응답하여, 디스플레이로 하여금 입력 모드 통지를 제시하는 것을 중단하게 하고;
    사용자가 전자 디바이스와의 상호작용을 중단했다고 결정하고, 사용자가 전자 디바이스와 상호작용을 중단했다는 결정은 사용자가 터치 입력을 사용하는 것을 중단했다는 결정 또는 사용자가 전자 디바이스를 내려놓았다는 결정을 포함하고; 그리고
    사용자가 전자 디바이스와의 상호작용을 중단했다는 결정에 응답하여, 디스플레이로 하여금 입력 모드 통지를 제시하게 하는 것을 특징으로 하는 전자 디바이스.
  9. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정하고; 그리고
    입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정함에 응답하여,
    디스플레이로 하여금 배경 컬러와는 다른 컬러로 입력 모드 통지를 제시하게 하고, 상기 다른 컬러는 입력 모드 통지가 디스플레이되는 디스플레이 영역과 입력 모드 통지 사이에서 사람이 식별할 수 있는 콘트라스트를 유효하게 제공하는 것을 특징으로 하는 전자 디바이스.
  10. 제1항에 있어서,
    상기 레이더 기반 입력 모드 가용성 관리자는 또한,
    전자 디바이스의 동작 상태, 스크린 상태, 전력 상태 또는 기능 모드 중 적어도 하나를 결정하고, 상기 전자 디바이스의 동작 상태, 스크린 상태, 전력 상태, 또는 기능 모드 중 적어도 하나는 입력 모드 통지가 임계 기간보다 더 오래 제시되었음을 나타내며; 그리고
    상기 전자 디바이스의 동작 상태, 스크린 상태, 전력 상태, 또는 기능 모드 중 적어도 하나가, 상기 입력 모드 통지가 임계 기간보다 더 오래 제시되었음을 나타낸다는 결정에 응답하여, 디스플레이로 하여금,
    다른 위치에서 입력 모드 통지를 제시하게 하거나, 또는
    지속 시간 동안 입력 모드 통지의 제시를 중단하게 하며, 그리고
    상기 지속 시간의 종료에 응답하여 입력 모드 통지를 다른 지속 시간 동안 제시하게 하는 것을 특징으로 하는 전자 디바이스.
  11. 제1항에 있어서,
    상기 레이더 시스템은, 상기 레이더 기반 입력 모드 가용성 관리자를 이용하여 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 것을 특징으로 하는 전자 디바이스.
  12. 제1항에 있어서,
    상기 전자 디바이스의 임계 거리 내에 있는 사용자는 레이더 제스처 입력을 포함하지 않는 것을 특징으로 하는 전자 디바이스.
  13. 디스플레이와 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법으로서,
    레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 전자 디바이스 상에서 동작하는지를 결정하는 단계, 레이더 제스처 입력은 레이더 시스템에 의해 생성된 레이더 데이터에 의해 정의되고;
    상기 레이더 시스템에 의해, 레이더 제스처 입력을 수신하는 것에 상관없이 그리고 레이더 데이터의 하나 이상의 서브세트에 기초하여, 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 단계; 및
    레이더 제스처 입력을 수신하는 것에 상관없이 그리고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 전자 디바이스 상에서 동작하고 있으며, 사용자가 전자 디바이스의 임계 거리 내에 있다는 결정에 응답하여, 전자 디바이스의 디스플레이 상에 입력 모드 통지를 제공하는 단계
    를 포함하고,
    상기 입력 모드 통지는 레이더 제스처 입력을 수신하는 능력과 관련되는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    입력 모드 통지를 제공하는 단계는, 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제13항에 있어서,
    상기 입력 모드 통지는 디스플레이의 활성 영역의 에지에 나타나는 시각적 요소이고, 상기 시각적 요소는 디스플레이의 활성 영역의 일부를 포함하며, 상기 디스플레이의 활성 영역의 일부는,
    상기 시각적 요소 근방의 디스플레이의 다른 부분의 시각적 속성과는 다른 시각적 속성, 특히, 광도, 컬러, 콘트라스트, 형상, 채도, 번짐(blur), 또는 불투명도 중 적어도 하나를 갖고;
    상기 디스플레이의 활성 영역의 에지에 인접한 측면(side)을 가지며,
    상기 시각적 요소의 시각적 속성은, 상기 디스플레이의 활성 영역의 에지에 인접한 상기 측면으로부터 상기 시각적 요소의 다른 하나의 측면까지 변하는 것을 특징으로 하는 방법.
  16. 제13항에 있어서,
    디스플레이 상에 제시된 콘텐츠의 방향을 획득하는 단계;
    디스플레이 상에 제시된 콘텐츠의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향을 결정하는 단계; 및
    상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 기초하여, 상기 콘텐츠와 상호작용하기 위해 사용되는 레이더 제스처 입력의 방향에 대응되는, 디스플레이의 활성 영역의 에지 상에 입력 모드 통지를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  17. 제13항에 있어서,
    사용자에 대한 전자 디바이스의 방향의 변화를 검출하는 단계; 및
    사용자에 대한 전자 디바이스의 방향의 변화에 기초하여, 사용자에 대한 입력 모드 통지의 방향을 유효하게 유지하도록 활성 디스플레이의 다른 에지 상에 입력 모드 통지를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  18. 제13항에 있어서,
    전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다고 결정하는 단계;
    전자 디바이스 상에서 동작하고 레이더 제스처 입력을 수신하는 능력을 갖는 어플리케이션이 몰입 모드에서 동작하고 있다는 결정에 응답하여,
    몰입 모드의 결정 이후의 프레젠테이션 지속 시간 동안 입력 모드 통지를 제공하는 단계; 및
    프레젠테이션 지속 시간의 종료에 응답하여, 비(non) 프레젠테이션 지속 시간 동안 입력 모드 통지의 제공을 중단하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  19. 제13항에 있어서,
    입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정하는 단계; 및
    입력 모드 통지가 디스플레이되는 디스플레이 영역의 배경 컬러를 결정함에 응답하여, 배경 컬러와는 다른 컬러로 입력 모드 통지를 제공하는 단계
    를 더 포함하고,
    상기 다른 컬러는 입력 모드 통지가 디스플레이되는 디스플레이 영역과 입력 모드 통지 사이에서 사람이 식별할 수 있는 콘트라스트를 유효하게 제공하는 것을 특징으로 하는 방법.
  20. 제13항에 있어서,
    상기 레이더 시스템은, 상기 전자 디바이스의 다른 컴포넌트를 이용하여 사용자가 전자 디바이스의 임계 거리 내에 있는지를 결정하는 것을 특징으로 하는 방법.
KR1020217037578A 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지 KR102416386B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227021967A KR20220098805A (ko) 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/049164 WO2021040742A1 (en) 2019-08-30 2019-08-30 Input-mode notification for a multi-input node

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227021967A Division KR20220098805A (ko) 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지

Publications (2)

Publication Number Publication Date
KR20210146417A KR20210146417A (ko) 2021-12-03
KR102416386B1 true KR102416386B1 (ko) 2022-07-05

Family

ID=67982170

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227021967A KR20220098805A (ko) 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지
KR1020217037578A KR102416386B1 (ko) 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227021967A KR20220098805A (ko) 2019-08-30 2019-08-30 다중 입력 모드에 대한 입력 모드 통지

Country Status (4)

Country Link
US (4) US11169615B2 (ko)
KR (2) KR20220098805A (ko)
CN (1) CN113874812A (ko)
WO (1) WO2021040742A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
KR20220098805A (ko) 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
CN118192796A (zh) 2019-08-30 2024-06-14 谷歌有限责任公司 移动设备的输入方法
US20210309352A1 (en) * 2020-04-03 2021-10-07 Cnh Industrial America Llc Systems and methods for generating earthmoving prescriptions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185873A (ja) 2014-08-07 2018-11-22 グーグル エルエルシー レーダベースのジェスチャ感知およびデータ伝送

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
EP1324276B1 (en) 2001-12-28 2008-10-15 Matsushita Electric Works, Ltd. Use of an electronic key and electronic security system
US6990335B1 (en) 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) * 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
US10282563B2 (en) 2009-02-06 2019-05-07 Tobii Ab Video-based privacy supporting system
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
EP2534554B1 (en) 2010-02-11 2020-06-10 Hewlett-Packard Development Company, L.P. Input command
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US11044451B2 (en) * 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US9389641B2 (en) * 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9065932B2 (en) * 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
KR20220136517A (ko) 2013-06-27 2022-10-07 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
US9338116B2 (en) * 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US20150088282A1 (en) 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
US9851896B2 (en) * 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
KR101924702B1 (ko) 2014-02-24 2019-02-20 소니 주식회사 다른 디바이스들에서의 기능들을 활성화하기 위해 착용형 디바이스들로부터 감각 정보를 취득하기 위한 스마트 착용형 디바이스 및 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
EP3158427B1 (en) 2014-06-19 2022-12-28 Robert Bosch GmbH System and method for speech-enabled personalized operation of devices and services in multiple operating environments
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US9633497B2 (en) 2014-09-05 2017-04-25 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for medical monitoring device gesture control lockout
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
JP6524717B2 (ja) 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US9904409B2 (en) * 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
CN107431778B (zh) * 2015-04-22 2021-06-22 索尼公司 信息处理装置、信息处理方法和程序
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
CN106503004B (zh) 2015-09-07 2020-09-11 腾讯科技（深圳）有限公司 一种信息处理方法及装置、终端
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US20170097684A1 (en) 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
DE102016100064B4 (de) 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
KR102620138B1 (ko) * 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10097681B2 (en) 2016-06-14 2018-10-09 Hand Held Products, Inc. Managing energy usage in mobile devices
EP3267291B1 (en) 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US20200372239A1 (en) 2017-05-15 2020-11-26 Microsoft Technology Licensing, Llc Device wake-up based on fingerprint sensor
EP3602366A1 (en) 2017-05-15 2020-02-05 Microsoft Technology Licensing, LLC Headset with fingerprint authentication
US11079975B2 (en) 2017-07-31 2021-08-03 Hewlett-Packard Development Company, L.P. Heuristic-based acoustic emission and energy conservation
JP2020530622A (ja) 2017-08-09 2020-10-22 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 対話型生体タッチスキャナ
CN109491496A (zh) 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
US10725161B2 (en) 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN110417986B (zh) 2018-04-28 2020-10-23 华为技术有限公司 一种灭屏显示的方法及电子设备
US10284541B1 (en) 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
US11604891B2 (en) 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
WO2021021220A1 (en) 2019-07-26 2021-02-04 Google Llc Authentication management through imu and radar
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
KR20240026524A (ko) 2019-07-26 2024-02-28 구글 엘엘씨 인증된 상태 유지하기
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN118192796A (zh) 2019-08-30 2024-06-14 谷歌有限责任公司 移动设备的输入方法
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
KR20220098805A (ko) * 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
US20210103348A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185873A (ja) 2014-08-07 2018-11-22 グーグル エルエルシー レーダベースのジェスチャ感知およびデータ伝送

Also Published As

Publication number Publication date
US20210064142A1 (en) 2021-03-04
CN113874812A (zh) 2021-12-31
WO2021040742A1 (en) 2021-03-04
KR20210146417A (ko) 2021-12-03
US11169615B2 (en) 2021-11-09
US20220026993A1 (en) 2022-01-27
US20230251725A1 (en) 2023-08-10
KR20220098805A (ko) 2022-07-12
US20230315212A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
KR102416386B1 (ko) 다중 입력 모드에 대한 입력 모드 통지
KR102661485B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
JP7270070B2 (ja) モバイルデバイスのための入力方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
JP7407200B2 (ja) マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN113924568A (zh) 基于雷达的认证状态反馈

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant