KR20210153695A - Imu 및 레이더를 통한 인증 관리 - Google Patents

Imu 및 레이더를 통한 인증 관리 Download PDF

Info

Publication number
KR20210153695A
KR20210153695A KR1020217037702A KR20217037702A KR20210153695A KR 20210153695 A KR20210153695 A KR 20210153695A KR 1020217037702 A KR1020217037702 A KR 1020217037702A KR 20217037702 A KR20217037702 A KR 20217037702A KR 20210153695 A KR20210153695 A KR 20210153695A
Authority
KR
South Korea
Prior art keywords
user
radar
power
authentication
state
Prior art date
Application number
KR1020217037702A
Other languages
English (en)
Inventor
알록 샹델
레오나르도 지우스티
아르투르 쓰르칸
셀림 플라비오 씨네크
요한 프라그
타일러 리드 커글러
코스타 루카스 두핀 모레이라
비그네시 사치다난담
브랜든 바벨로
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority claimed from PCT/US2019/049216 external-priority patent/WO2021021220A1/en
Publication of KR20210153695A publication Critical patent/KR20210153695A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/26—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
    • G01S13/28—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses
    • G01S13/282—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses using a frequency modulated carrier wave
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
    • G01S7/038—Feedthrough nulling circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/2813—Means providing a modification of the radiation pattern for cancelling noise, clutter or interfering signals, e.g. side lobe suppression, side lobe blanking, null-steering arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2921—Extracting wanted echo-signals based on data belonging to one radar period
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

이 문서에서는 IMU와 레이더를 통한 인증 관리를 위한 기술 및 시스템에 대해 설명한다. 기술 및 시스템은 IMU(관성 측정 장치)의 관성 센서 데이터 및/또는 레이더 데이터를 사용하여 컴퓨팅 장치에 대한 인증을 관리한다. 그렇게 함으로써 기술은 컴퓨팅 장치 인증을 위한 많은 일반적인 기술 및 시스템에 비해 전력을 절약하고 정확도를 개선하거나 대기 시간을 줄인다.

Description

IMU 및 레이더를 통한 인증 관리
본 명세서는 IMU 및 레이더를 통한 인증 관리에 관한 것이다.
스마트폰, 웨어러블 컴퓨터 및 태블릿과 같은 사용자 장비는 사용자가 장치에 액세스하기 전에 사용자 인증을 요구하는 경우가 많다. 그러나 현재의 인증 기술은 사용자를 빠르고 정확하게 인증하지 못하는 경우가 많다. 많은 기술은 또한 과도한 전력을 소비하지 않고 사용자를 인증하지 못하는데, 이는 배터리 구동 장치의 경우 특히 문제가 된다.
또한 사용자는 자신의 장치와 점점 더 자주 상호 작용하고 있으며 일부 사용자는 하루에 수십 또는 수백 번 자신의 장치를 인증한다. 이러한 사용자 인증의 필요성과 사용자 인증 횟수로 인해 인증을 수행하는 시간, 권한 및 용이성이 점점 더 중요해지고 있다.
이 문서에서는 IMU와 레이더를 통한 인증 관리를 위한 기술 및 시스템에 대해 설명한다. 이 기술과 시스템은 IMU(관성 측정 장치)의 관성 센서 데이터와 레이더 데이터를 사용하여 컴퓨팅 장치에 대한 인증을 관리한다. 그렇게 함으로써 기술은 컴퓨팅 장치 인증을 위한 많은 일반적인 기술 및 시스템에 비해 전력을 절약하고 정확도를 개선하거나 대기 시간을 줄인다.
예를 들어, 레이더 데이터에 기초하여 사용자 장비에 의해 사용자의 관여 의도를 결정하는 방법이 설명된다. 결정에 응답하여, 방법은 인증 시스템의 전력 소비 컴포넌트의 전력 상태를 제1 전력 상태에서 제2 전력 상태로 변경하고, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비한다. 그 다음, 방법은 인증 시스템이 제2 전력 상태 또는 제3의 더 높은 전력(고전력) 상태에서 전력 소비 컴포넌트를 사용하는 인증 시스템에 의한 인증 프로세스를 수행한다.
이 문서는 또한 위에서 요약된 방법 및 여기에 설명된 다른 방법을 수행하기 위한 명령을 포함하는 컴퓨터 판독 가능 매체, 뿐만 아니라 이러한 방법을 수행하기 위한 시스템 및 수단을 설명한다.
이 요약은 IMU 및 레이더를 통한 인증 관리에 대한 단순화된 개념을 소개하기 위해 제공되며, 이는 아래의 상세한 설명 및 도면에서 더 자세히 설명된다. 이 요약은 청구된 요지의 필수 기능을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는 데 사용하기 위한 것도 아니다.
IMU 및 레이더를 통한 인증 관리의 하나 이상의 측면에 대한 세부 사항은 다음 도면을 참조하여 이 문서에서 설명된다. 도면 전체에 걸쳐 동일한 번호가 동일한 기능 및 컴포넌트를 참조하는 데 사용된다.
도 1은 IMU 및 레이더를 통한 인증 관리 기술이 구현될 수 있는 예시적인 환경을 보여준다.
도 2는 도 1에 기술된 인증 시스템의 예를 도시한다.
도 3은 도 2의 인증 시스템에 의해 인증된 예시적인 사용자를 도시한다.
도 4는 사용자 장비에 관여하려는 사용자 의도의 결정에 응답하여 인증 시스템의 전력 상태를 포함하는 상태를 변경할 수 있는 도 1의 사용자 장비의 구현을 도시한다.
도 5는 사용자 장비의 예시적인 정보, 전력 및 액세스 상태를 예시한다.
도 6a은 컴퓨팅 장치의 일부인 레이더 시스템의 예를 보여준다.
도 6b는 트랜시버(송수신기)와 프로세서의 예를 보여준다.
도 6c은 전력 소모, 제스처 프레임 업데이트 레이트 및 응답 지연 간의 관계 예를 보여준다.
도 6d는 프레임 구조의 예를 보여준다.
도 7은 도 6a의 레이더 시스템을 위한 수신 안테나 요소의 배열 예를 보여준다.
도 8은 도 6a의 레이더 시스템의 구현 예에 대한 추가 세부 사항을 보여준다.
도 9는 도 6a의 레이더 시스템에 의해 구현될 수 있는 예시적인 방식을 예시한다.
도 10은 IMU 및/또는 레이더를 통한 인증 관리를 위한 예시적인 방법을 도시한다.
도 11은 IMU 및 레이더를 통한 인증 관리를 위한 예시적인 시나리오를 도시한다.
도 12는 사용자 장비의 상태를 감소시키기 위한 예시적인 방법을 도시한다.
도 13은 사용자 장비의 상태를 감소시키기 위한 예시적인 시나리오를 도시한다.
도 14는 인증된 상태를 유지하기 위한 예시적인 방법을 도시한다.
도 15는 인증된 상태를 유지하기 위한 예시적인 시나리오를 도시한다.
도 16은 인증된 상태를 유지하기 위한 다른 예시적인 시나리오를 도시한다.
개요
이 문서에서는 IMU(관성 측정 장치) 및 레이더를 사용한 인증 관리 기술 및 시스템에 대해 설명한다. 기술과 시스템은 IMU의 관성 센서 데이터와 레이더 데이터를 사용하여 사용자 장비에 대한 인증을 관리한다. 그렇게 함으로써 기술은 인증 시스템의 전력을 절약하거나 속도를 높인다.
예를 들어, 사용자가 스마트폰을 책상 위에 놓고 동료와 20분 동안 대화한 후 책상과 스마트폰으로 돌아갔다고 가정한다. 돌아오면 스마트폰의 인증이 해제되며 이는 20분 미만의 시간 제한으로 인해 많은 컴퓨팅 장치에서 일반적이다. 따라서 사용자가 전화를 받을 때 다시 인증해야 한다. 이를 위해 버튼을 누르면 스마트폰이 디스플레이를 켜고 디스플레이를 통해 비밀번호를 입력하거나 얼굴 인식을 수행하기 위해 장치의 전면 카메라 방향을 지정하는 등의 인증 옵션을 표시한다. 사용자가 전화기를 들고 버튼을 누른 후, 디스플레이에 대한 사용자의 터치입력이나 스마트폰의 전면 카메라 사용을 통해 인증을 받은 후, 스마트폰의 상태가 인증 및 잠금 해제되어 액세스 권한이 낮거나 없음에서 높거나 유사한 권한(예: 잠금 해제)으로 이동한다. 사용자는 스마트폰이 어떻게 작동하는지 모를 수 있지만 많은 경우 스마트폰이 디스플레이 또는 전면 카메라의 전력을 켜야 하므로 시간과 전력이 모두 필요하며 그렇게 해야 사용자를 인증할 수 있다. 이로 인해 인증 프로세스가 지연된다.
대조적으로, 레이더 데이터를 사용하여 사용자가 자신의 스마트폰을 향해 손을 뻗고 있고 사용자가 IMU 데이터를 사용하여 스마트폰을 집고(예를 들어, 들어올리는) 결정하는 개시된 기술을 고려한다. 이러한 데이터 중 하나를 사용하여 이 기술은 스마트폰 디스플레이, 전면 카메라 또는 기타 인증 컴포넌트의 전력 켜기를 보다 빠르게 인스턴스화할 수 있으므로 사용자 인증에 필요한 시간을 줄일 수 있다.
이는 설명된 기술과 장치를 사용하여 IMU 및 레이더를 통한 인증을 관리하는 방법의 한 예일 뿐이다. 다른 예제와 구현은 이 문서 전체에 설명되어 있다. 이제 이 문서는 예시적인 운영 환경으로 바뀌고 그 후에 예시적인 장치, 방법 및 시스템이 설명된다.
운영 환경
도 1은 IMU 및 레이더를 통한 인증 관리를 위한 기술이 구현될 수 있는 예시적인 환경(100)을 도시한다. 예시적인 환경(100)은 사용자 장비(UE)(예: 스마트폰)(102)를 포함하고, 레이더 시스템(104), 레이더 관리자(106), 관성 측정 유닛(IMU)(108), 이동(움직임) 관리자(110), 상태 관리자(112), 인증 시스템(114), 및 디스플레이(116)를 포함하거나 이와 관련된다.
예시적인 환경(100)에서, 레이더 시스템(104)은 도 7-9를 참조하여 후술되는 바와 같이 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(118)를 제공한다. 레이더 필드(118)는 레이더 시스템(104)이 레이더 신호 및 파형의 반사를 감지할 수 있는 공간의 볼륨이다(예: 우주 공간의 물체에서 반사된 레이더 신호 및 파형, 일반적으로 여기에서 레이더 데이터라고도 함). 레이더 시스템(104)은 또한 UE(102) 또는 다른 전자 디바이스가 레이더 필드(118) 내의 반사로부터 이 레이더 데이터를 감지 및 분석할 수 있게 한다. 레이더 필드(118)는 다양한 형태 및 형태 중 임의의 것을 취할 수 있다. 예를 들어, 레이더 필드(118)는 도 1 및 도 7을 참조하여 설명된 바와 같은 형상을 가질 수 있다. 다른 경우에, 레이더 필드(118)는 레이더 시스템(104)으로부터 연장되는 반경의 형상, 레이더 시스템(104) 주위의 볼륨(예: 구, 반구, 부분 구, 빔 또는 원뿔), 또는 불균일한 형상(예를 들어, 레이더 필드(118)의 장애물로부터의 간섭을 수용하기 위해)을 취할 수 있다. 레이더 필드(118)는 인치 내지 12피트(3분의 1미터에서 4미터 미만)와 같은 레이더 시스템(104)으로부터의 다양한 거리 중 임의의 것을 확장할 수 있다. 레이더 필드(118)는 (예: 전력 요구량, 남은 배터리 수명 또는 기타 요인에 따라) 미리 정의되거나, 사용자가 선택 가능하거나, 다른 방법을 통해 결정될 수 있다.
레이더 필드(118)에서 사용자(120)로부터의 반사는 레이더 시스템(104)이 다양한 비언어적 신체 언어 신호, 신체 위치 또는 신체 자세를 나타낼 수 있는, 사용자(120)의 신체 위치 및 자세와 같은 사용자(120)에 대한 다양한 정보를 결정할 수 있게 한다. 큐, 위치 및 자세는 UE(102)를 기준으로 한 사용자(120)의 절대 위치 또는 거리, UE(102)를 기준으로 한 사용자(120)의 위치 또는 거리의 변화(예를 들어, 사용자(120) 또는 사용자(120)가 쥐고 있는 사용자의 손 또는 물체가 UE(102)에 더 가까이 또는 더 멀리 이동하는지 여부), UE(102)를 향해 또는 멀어질 때 사용자(120)(예: 손 또는 사용자가 아닌 물건)의 속도, 사용자(120)가 UE(102)를 향하여 또는 멀어지는지 여부, 사용자(120)가 UE(102)를 향하여 기대거나, 손을 흔들거나, 손을 뻗거나, UE(102)를 가리키는지 여부 등등을 포함할 수 있다. 이러한 반사는 또한 레이더 데이터 분석을 통해 사람의 신원(예: 사용자 얼굴의 산란 중심(scattering centers))과 같은 인증을 결정하거나 인증에 확신을 주기 위해 분석될 수 있다.
레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터에 기초하여, UE(102)에 관여(engage), 관여 해제(disengage) 또는 관여를 유지하려는 사용자의 의도를 결정하도록 구성된다. 사용자의 의도는 위에서 언급한 다양한 신호, 위치, 자세 및 거리/속도에서 추론할 수 있다. 예를 들어, UE(102)를 향한 손 또는 팔의 도달, 바라보는 눈의 움직임, 또는 UE(102)를 향한 머리 또는 얼굴의 움직임에 기초한다. 손 또는 팔 도달의 경우, 레이더 관리자(106)는 사용자가 UE(102)를 만지거나 집어 올릴 가능성이 있는 의도를 표시하는 방식으로 사용자가 손에 도달하거나 팔을 향하고 있다고 결정한다. 예로는 무선으로 부착된 스피커의 볼륨 버튼을 향해 손을 뻗는 사용자, 태블릿 컴퓨터와 관련된 무선 또는 유선 마우스를 향한 손, 또는 UE(102) 자체를 향하는 손이 포함된다. 이 도달 범위는 손 움직임 단독, 팔과 손 움직임, 또는 팔의 손이 UE(102)를 만지거나 잡을 수 있게 하는 방식으로 팔을 구부리거나 곧게 펴는 것에 기초하여 결정될 수 있다. 도 14-16에 언급된 바와 같이, 이러한 결정에 관여하려는 의도는 인증 여부에 관계없이 비사용자 또는 사용자를 위한 것일 수 있다.
관여하려는 사용자의 의도는 또한 UE(102) 또는 일부 경우에 UE(102)의 관련 주변기기를 보거나 얼굴을 향하도록 사용자의 머리 또는 눈의 움직임에 기초하여 추론될 수 있다. UE(102)를 바라보는 사용자의 눈의 움직임에 대해, 레이더 관리자(106)는 사용자의 눈의 추적과 같이 사용자의 눈이 UE(102)의 방향을 보고 있다고 결정한다. 사용자의 머리가 UE(102) 쪽으로 얼굴을 향하도록 이동하기 위해(예: 얼굴 방향), 레이더 관리자(106)는 다양한 지점(예: 아래에 언급된 산란 중심)이 사용자의 얼굴이 UE(102)를 향하도록 배향된다고 결정한다. 따라서, 사용자는, 레이더 관리자(106)가 사용자가 UE(102)에 관여(또는 관여 해제 또는 유지)할 의도를 결정하기 위해, UE(102) 상의 버튼을 활성화(누르는)하는 것, 터치 종속 제스처(예: 터치 패드 또는 화면에서) 또는 터치 독립 제스처(예: 레이더 시스템(104) 사용)과 같은 UE(102)를 제어하거나 활성화하도록 설계된 동작을 수행할 필요가 없다.
위에서 언급된 바와 같이, 레이더 관리자(106)는 또한 UE(102)와 관여해제(분리)하려는 사용자의 의도를 결정하도록 구성된다. 레이더 관리자(106)는 UE(102)로부터 멀어지는 얼굴 또는 머리의 움직임(예를 들어, UE(102)를 바라보는 것에서 멀어지는 안면 방향 변경), 사용자의 손 또는 팔이 UE(102)로부터 멀어지고 있음을 나타내는 레이더 데이터로부터 추론되어, 관여하려는 사용자의 의도와 유사하게 관여해제하려는 사용자의 의도를 결정한다. 해제(관여해제)하려는 사용자의 의도를 결정하기 위한 추가 방식은 위에서 언급한 관여의 반대 또는 중단뿐만 아니라 사용자가 멀리 걸어갔거나, 신체를 멀리 이동했거나, 연관되지 않은 다른 물체 또는 장치에 관여했음을 나타내는 레이더 데이터이다. 따라서, 레이더 관리자(106)는 사용자에 의해 어떤 다른 대상, 디바이스, 또는 사용자 장비에 관여하려는 의도를 결정하는 것에 기초하여 UE(102)와 관여 해제할 의도를 결정할 수 있다. 예를 들어 사용자가 스마트폰을 보고 상호 작용한다고 가정한다. 해당 스마트폰과의 관여해제하려는 의도를 나타내는 관여 의도의 예는 스마트폰 대신 텔레비전 화면을 보거나, 근처에 물리적으로 존재하는 사람과 대화를 시작하거나, 전자책이나 미디어 플레이어와 같이 스마트폰과의 관여를 대체할 가능성이 있는 다른 장치를 향해 손을 뻗는 것을 포함한다.
레이더 관리자(106)는 또한 UE(102)와의 관여(engagement)을 유지하려는 사용자의 의도를 결정하도록 구성된다. 이러한 관여 유지는 능동적이거나 수동적일 수 있다. 능동 관여의 경우, 레이더 관리자(106)는 레이더 데이터에 기초하여 사용자가 터치 독립 제스처 등을 통해 상호작용하고 있다고 결정할 수 있다. 레이더 관리자(106)는 또한 또는 대신에 비-레이더 데이터를 통해 능동적 관여를 결정할 수 있다(예를 들어, UE(102)의 다른 컴포넌트의 도움으로 수행됨). 이러한 비-레이더 데이터는 사용자가 UE(102) 또는 주변기기에 데이터를 입력하거나 제어하고 있다는 표시를 포함한다. 따라서, 터치, 타이핑 또는 오디오 데이터를 통해, 사용자는 디스플레이(116)의 터치 스크린 입력을 통해 터치하거나(예: 소프트 키보드를 탭하거나 제스처 수행), 주변 키보드로 타이핑하는 것으로 결정되거나, 오디오 입력을 받아쓰는(dictating) 것으로 결정된다. 수동적 관여를 유지하기 위해, 레이더 관리자(106)는 독립적으로 또는 UE(102)의 다른 컴포넌트의 도움을 통해, UE(102)를 향해 얼굴을 가리키거나, 디스플레이(116)를 바라보거나, 또는 UE(102)의 디스플레이가 사용자 또는 제3자가 볼 수 있도록 배향하는 방식으로 UE(102)를 잡고 있는 것과 같이, 사용자가 콘텐츠를 소비하고 있거나 콘텐츠를 소비하기 위해 UE(102)를 다른 사람에게 제공하고 있다고 결정한다. 수동적 관여를 유지하는 다른 예는 사용자(120)가 UE(102)의 도달 범위 (예: 1미터에서 2, 1.5, 1, 1/2) 내에 있다고 결정하는 레이더 관리자(106)를 통한 것과 같은 사용자의 존재를 포함한다. 레이더 관리자(106)가 수동적으로 및 능동적으로 관여, 관여 해제 또는 관여를 유지하려는 사용자의 의도를 결정하는 예시적인 방법의 세부사항은 아래에서 설명된다.
또한, 레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터를 사용하여 사용자에 의해 수행된 제스처도 결정할 수 있다. 이러한 제스처는 사용자가 테이블, 디스플레이(116) 또는 셔츠 소매와 같은 일부 표면을 터치하는 것과 관련되거나 터치 독립적인 제스처를 포함할 수 있다. 터치 독립적인 제스처는 공중에서, 3차원으로, 및/또는 손이나 손가락이 입력 장치를 터치할 필요 없이 수행될 수 있지만 일부 개체를 터치하는 것이 배제되지는 않는다. 이러한 제스처는 레이더 데이터에 기초하여 결정될 수 있고 그 다음 UE(102)에 대한 입력으로서 또는 UE(102)와의 관여를 나타내기 위해 사용될 수 있다. 제스처의 예로는 수화(예: ASL 또는 미국 수화)와 유사한 다양한 제스처(예, 복잡한 한 손 또는 여러 손 제스처, 왼쪽, 오른쪽, 위 또는 아래로 스와이프, 평평한 손 들기와 같은 간단한 여러 손 또는 한 손 제스처, 또는 음악 및 비디오 트랙을 변경하고, 알람을 일시 중지하고, 전화를 끊거나, 게임을 하도록 아래로, 또는 앞으로 또는 뒤로 스와이프)를 포함한다. 이들은 이러한 제스처에 의해 제어될 수 있고 레이더 시스템(104) 및 레이더 관리자(106)를 통해 활성화되는 많은 예시적인 제스처 및 기능 중 일부에 불과하다. 따라서, 이 문서가 관여 및 상태 관리에 관한 것이지만, 이 문서의 어떤 것도 레이더 시스템(104) 및 레이더 관리자(106)가 제스처 인식을 위해 구성될 수 없다는 것을 나타내기 위해 잘못 해석되어서는 안 된다.
IMU(108)는 움직임을 측정하도록 구성된 다양한 장치 중 하나일 수 있으며, 여기에는 세 가지 축(예: X, Y 및 Z) 각각에 대한 피치, 롤 및 요를 포함하여 특정 힘, 각속도, 방향, 진동, 가속도, 속도 및 위치를 포함하도록 정의된다. IMU(108)는 가속도계, 자이로스코프, 및/또는 자력계와 같은 UE(102) 내의 하나 또는 다수의 장치일 수 있다.
움직임 관리자(110)는 IMU(108)로부터의 관성 데이터에 기초하여 UE(102)의 움직임을 결정하도록 구성된다. 예시적인 움직임은 들어 올려지는(예를 들어, 픽업되는) UE(102), 사용자(120)를 향하거나 사용자로부터 멀어지는 방향, 및 진동을 포함한다. 예시적인 움직임은 UE(102)의 사용자(120)에 의한 물리적 접촉의 중단, 무생물(예: 테이블, 자동차 콘솔, 소파 암, 베개, 바닥, 도킹 스테이션)에 대한 UE(102)의 배치, 및 봉입된 용기, 예를 들어 주머니, 가방 또는 지갑 내의 UE(102)의 배치를 나타낼 수 있다.
이러한 움직임은 UE(102)에 대한 사용자의 잠재적인 관여, 관여해제(분리) 또는 유지된 관여(engagement)를 나타낼 수 있다. 예를 들어, UE(102)의 움직임은 사용자 장비가 사용자(120)를 향해 이동하거나 지향하거나 사용자(120)로부터 멀어지는 방향으로 이동/배향되고 있다는 것을 나타낼 수 있고, 사용자 장비가 많은 가능한 유형의 사용자 관여에 대해 상호작용하기에는 너무 빠르게 움직이고 있거나 움직임을 너무 빠르게 변경하고 있음을 나타낼 수 있고, 사용자 장비가 사용자(120)에 의해 유지되고 있거나(자연스런 인간의 움직임, 호흡, 심장 박동을 통해) 기계적 또는 비사용자 소스로 인해 진동(예: 차량의 진동, UE(102)를 흔드는 주변 소리, UE(102)를 진동시키는 음악)하고 있음을 나타낼 수 있다. 따라서, UE(102)와의 잠재적인 관여해제(관여해제)를 나타낼 수 있는 배향(orientation)은 사용자(120)가 디스플레이(116)를 보고 있을 가능성이 있었던 이전 배향이 이제 그렇지 않을 가능성이 있도록 UE(102)의 배향(방향) 변경을 포함할 수 있다. 사용자(120)가 한 방향에서 타이핑 또는 읽기를 한 다음 전화기를 뒤집거나 옆으로 돌리거나 주머니에 넣는 등은 방향이 멀어져 잠재적인 관여해제를 나타내는 움직임의 한 예일 뿐이다. 유지된 관여를 나타낼 수 있는 예시적인 움직임은 사용자가 UE(102)의 유지 또는 배치를 유지하거나 그 방향이 UE(102)와의 관여를 이전에 나타내거나 일치했던 UE(102)에 대한 그들의 방향을 유지하고 있음을 나타내는 진동을 포함한다.
디스플레이(116)는 터치스크린, 액정 디스플레이(LCD), 박막 트랜지스터(TFT) LCD, IPS(In-Place Switching) LCD, 정전식 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 능동 매트릭스 유기발광다이오드(AMOLED) 디스플레이, 슈퍼 AMOLED 디스플레이 등과 같은 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 언급한 바와 같이, 디스플레이(116)는 전력이 공급되는 터치 입력으로 완전 포화, 터치 입력으로 전력이 공급되지 않는 감소된 포화, 및 저포화 및 저전력(예: 그레이 클록) 또는 전력이 없는 것과 같은 다양한 레벨에서 전력이 공급될 수 있다.
상태 관리자(112)는 UE(102)에 대한 인증을 관리하지만, 전력 및 정보 상태와 같은 UE(102)의 상태도 관리할 수 있다. UE(102) 및 그 컴포넌트의 이러한 관리는 레이더 관리자(106) 및 이동 관리자(110)에 의해 이루어진 결정에 기초하여 수행된다. 예를 들어, 상태 관리자(112)는 패스워드를 입력하기 위해 사용자(120)로부터 터치 입력을 수신할 것을 예상하여 전원이 켜지도록 UE(102)의 디스플레이(116)를 변경함으로써 인증 시스템(114)의 컴포넌트에 전력을 공급하는 것을 관리할 수 있고, 인증에 사용되는 계산을 수행하기 위해 컴퓨터 프로세서를 관리할 수 있거나, 이미지 기반 얼굴 인증, 레이더(예를 들어, 레이더 시스템(104)) 또는 사용자(120)를 인증하는 데 사용되는 다른 컴포넌트를 수행하기 위한 이미징 시스템를 관리할 수 있다.
언급된 바와 같이, UE(102)의 이러한 관리는 각각 UE(102)에 대한 관여, 관여 유지, 관여해제 또는 유지하려는 의도를 결정하는 레이더 관리자(106) 및 이동 관리자(110)에 의한 결정에 기초한다. 상태 관리자(112)는 이러한 결정에만 기초하거나 현재 상태, 현재 관여, 실행 중인 애플리케이션 및 이러한 애플리케이션에 의해 표시되는 콘텐츠 등과 같은 다른 정보에 기초하여 그렇게 할 수 있다. 또한, 레이더 관리자(106)는 사용자의 의도를 결정할 수 있고, 움직임 관리자(110)는 움직임을 결정할 수 있지만, 그 중 일부는 UE(102)와 관여하려는 사용자의 의도를 나타내도록 결정되지만, 상태 관리자(112)는 이들의 결정 둘 다를 사용함으로써 사용자의 의도가 UE(102)와 관여하여 UE(102)에 대해 자신을 인증하려는 전체 결정의 정확성, 견고성 및/또는 속도를 향상시킬 수 있다.
레이더 관리자(106) 및 이동 관리자(110)의 두 결정의 이러한 사용은 인증 시스템(114) 관리의 일부로서 함께 또는 단계적으로 수행될 수 있거나, 이들 중 하나가 단독으로 사용될 수 있다. 예를 들어, UE(102)가 인증에 사용되는 컴포넌트에 대해 저전력 상태에 있다고 가정한다. 레이더 관리자(106)는 사용자(120)가 UE(102)를 향한 움직임 또는 UE(102)를 향한 도달에 기초하여 UE(102)와 인증할 의도가 있다고 결정할 수 있다. 일부 경우에 이것만으로는 상태 관리자(112)가 UE(102)가 고전력 상태로 변경되게 하기에는 상태 관리자(112)가 불충분하다고 간주된다. 따라서, 상태 관리자(112)는 인증 컴포넌트 중 일부가 고전력 상태(예를 들어, 도 5의 고전력 상태(504-1))가 아니라 중간 상태로 전력이 공급되도록 할 수 있다. 예를 들어, 인증 시스템(114)이 적외선 센서를 사용하여 얼굴 인식을 수행하는 경우,
상태 관리자(112)는 사용자 인증을 예상하여 이러한 센서 및 디스플레이(116)에 더 높은 전력으로 전력을 공급할 수 있으며, 디스플레이(116)의 경우에는 사용자에게 UE(102)가 "waking up(깨어나고)" 있고 따라서 점점 더 응답하고 있음을 나타낼 수 있다. 추가 단계로서, 상태 관리자(112)는 인증 컴포넌트(여기서는 적외선 센서)의 전력을 완전히 켜기 전에 사용자가 UE(102)를 이동, 집기, 들어올리기 등을 했다고 이동 관리자(110)가 결정할 때까지 기다릴 수 있다. 요구되지는 않지만, 상태 관리자(112)는 사용자로부터의 추가 입력 없이 컴포넌트에 의해 인증이 시도되도록 할 수 있고, 이에 의해 사용자(120)에 대한 인증을 끊김 없이 만들 수 있다.
그러나 일부 경우에, 상태 관리자(112)는 관성 데이터 및 레이더 데이터 둘 다에 응답하여 UE(102) 및 다양한 인증 컴포넌트의 상태에 전력을 공급하거나 그렇지 않으면 준비하기로 결정하고, 예를 들어, 레이더 관리자(106)는 사용자가 인증할 의도임을 결정하고 움직임 관리자(110)는 사용자가 UE(102)를 픽업하고 있다고 결정한다.
다시 말해, 상태 관리자(112)는 사용자가 UE(102)를 터치하기 시작했다는 이동 관리자(110)에 의한 표시와 같이 사용자의 의도가 UE(102)를 선택함으로써 인증하려는 더 높은 수준의 신뢰까지 기다릴 수 있다. 일부 경우, 상태 관리자(112)는 단지 레이더 관리자(106)의 결정에 기초하여 전력을 증가시킬 수 있지만, 움직임 관리자(110)가 이러한 컴포넌트에 완전히 전력을 공급하기 위해 사용자에 의한 터치를 나타낼 때까지 기다리는 대신에, 디스플레이 또는 인증 시스템(114) 또는 그 컴포넌트의 중간 전력 레벨로만 전력을 증가시킬 수 있다. 그러나, 언급된 바와 같이, 상태 관리자(112)는 관여 의도의 결정에 대해서만 상태를 더 높은 전력 레벨로 변경할 수 있다.
상태 관리자(112)가 UE(102)의 인증을 관리할 수 있는 많은 예시적인 방식 중 하나가 예시적인 환경(100-1, 100-2, 100-3)에서 도 1에 도시되어 있다. 환경(100-1)에서, 사용자(120)는 책을 읽고 있고, UE(102)는 테이블에 놓여 있다. 사용자(120)가 테이블의 가장자리에 책을 놓거나 말하거나 일부 다른 진동 소스가 UE(102)를 진동시킨다고 가정한다. 이 진동에 기초하여, 이동 관리자(110)는 UE(102)가 이동되고 있다고 결정하거나 결정하지 않을 수 있거나, 주변 진동인 것으로 무시할 수 있다. 그러나 진동이 일부 유형의 IMU 및 이에 수반되는 애플리케이션에서 사용자의 관여를 나타낼 가능성이 있는 움직임이 발생했다고 결정할 정도로 진폭이나 특성이 충분히 크다고 가정한다. 이러한 유형의 IMU 및 기존의 상태 관리 시스템과 대조적으로, 상태 관리자(112)는 또한/대신 레이더 관리자(106)로부터 정보를 수신하며, 이는 사용자(120)가 관여의 부족을 나타내는 방식으로 현재 행동하고 있거나 유지하고 있음을 나타낸다. 레이더 관리자(106)는 사용자(120)의 신체 방향, 눈 접촉, 또는 UE(102)가 아닌 책을 향한 얼굴 방향에 기초하여 그렇게 할 수 있다. 따라서, 상태 관리자(112)는 전력을 켜고, 디스플레이를 켜고, 인증 시스템(114)을 켜고, 그렇지 않으면 리소스를 낭비하거나 사용자(120)의 책과의 관여를 방해함으로써 사용자(120)를 귀찮게 하는 것을 포기할 수 있다. 이 시나리오에서 잠시 벗어나, 발생하는 예시적인 이점은 사용자가 운전하고, 앞을 향하고, 핸들에 손을 얹고 UE(102)가 조수석에 놓여 있는 스마트폰을 포함하는 움직이는 자동차의 컨텍스트에서 인식될 수 있다. 많은 경우에, 도로의 범프는 레이더 기반 입력이 없는 경우 IMU와 이에 수반되는 애플리케이션을 유발하여 사용자가 실제로 관여할 의도가 없을 때 사용자가 관여할 가능성이 있음을 결정할 수 있다. 이는 인증 파워업 자원이 낭비되는 가양성(false-positive) 상황을 야기한다. 그러나 레이더 기반 입력을 고려할 때 레이더 기반 입력은 사용자의 팔이 스마트폰을 향하지 않음을 나타낼 수 있으므로 가양성 상황을 피할 수 있다.
이 시나리오를 계속하여, 레이더 관리자(106)가 사용자가 UE(102)와 관여할 의도를 결정하는 예시적인 환경(100-2)을 고려한다. 이러한 관여 의도는 사용자(120)가 UE(102)를 바라보고 있거나, 자신의 신체를 UE(102)로 향하고 있거나, 또는 UE(102)를 향해 도달하고 있음을 나타내는 레이더 시스템(104)으로부터의 레이더 데이터에 기초하여 결정될 수 있다(이 세 가지가 모두 표시되지만 이 세 가지 조건 중 하나라도 관여 의사를 나타내기에 충분할 수 있음). 아래에서 더 자세히 설명하겠지만, 상태 관리자(112)는 레이더 관리자(106)에 의해 결정된 관여 의도에 기초하여 인증 시스템(114)과 같은 UE(102)의 상태를 변경하기 위해 결정할 수 있지만, 다른 또는 추가 컴포넌트도 변경될 수 있다.
이 시나리오를 끝내고 예제 환경 100-3을 고려한다. 상태 관리자(112)는 UE(102)의 인증 시스템(114)을 빠르고 원활하게 더 높은 전력 상태로 변경한다. 언급된 바와 같이, 상태 관리자(112)는 사용자(120)가 UE(102)와 관여할 의도가 있다는 결정을 나타내는 레이더 관리자(106)에 기초하여 그렇게 한다. 환경(100-3)에 대해, 사용자(120)가 UE(102)를 터치하고 있는 것처럼 인증되었다고 가정한다. 이 인증 및 잠금 해제는 디스플레이(116)를 저채도 및 저광도 별 심볼에서(122의 환경 100-2에 표시됨) 고채도 및 고광도 별 심볼(124의 환경 100-3에 표시됨)로 변경하여 사용자(120)에게 표시된다.
보다 상세하게는, 도 2에 도시된 인증 시스템(114)의 일 예를 고려한다. 이는 터치 감지 디스플레이를 통한 비밀번호 입력, 레이더 시스템(104)을 사용한 레이더 인증, 또는 지문 판독기와 같이 상태 관리자(112)에 의해 제어 가능한 다른 인증 시스템이 고려되는 한 가지 예에 불과하다.
인증 시스템(114)의 이 예는 UE(102)(스마트폰으로 도시됨)의 내부(200)를 보여주는 것으로 예시된다. 도시된 구성에서, UE(102)는 레이더 시스템(104)의 레이더 집적 회로(202), 스피커(204), 전면 카메라(206), 근접 센서(208), 및 주변 광 센서(210)를 포함한다. UE(102)는 또한 근적외선(NIR) 플러드(flood) 조명기(214) 및 근적외선(NIR) 도트(dot) 프로젝터(216)를 포함하는 안면(얼굴) 잠금해제 센서(212)를 포함하며, 둘 다 사용자에게 적외선 또는 근적외선 광을 투사한다. 안면 잠금해제 센서(212)는 또한 UE(102)의 반대편에 위치하는 2개의 NIR 카메라(218-1, 218-2)를 포함한다. 근적외선 카메라(218-1, 218-2)는 사용자에 의해 반사되는 적외선 및 근적외선을 감지한다. 이 반사된 근적외선 빛은 얼굴 특징을 결정하는 데 사용될 수 있으며 이러한 특징을 통해 이전에 저장된 얼굴 특징 정보와 비교하여 사용자 진위 여부를 결정할 수 있다. 예를 들어, NIR 플러드 조명기(214)는 사용자(및 다른 객체)로부터 반사를 수신할 때 이미지를 제공하는 NIR 광으로 환경을 "플러드(flood)"한다. 이 이미지는 주변 조명이 낮거나 없는 경우에도 사용자의 얼굴을 포함하므로 얼굴 특징을 결정하는 데 사용할 수 있다. NIR 도트 프로젝터(216)는 사용자 얼굴의 특징을 포함하여 물체의 깊이를 결정하기 위해 분석될 수 있는 NIR 광 반사를 제공한다. 따라서, 사용자에 대한 깊이 맵(예: 스펙트럼 깊이 맵)이 생성될 수 있고(예: 얼굴 인증을 설정할 때 이전에) 현재 깊이 맵이 결정되고 저장된 이전 생성 깊이 맵과 비교할 수 있다. 이 깊이 맵은 사용자의 실제 얼굴이 아닌 사진 또는 기타 2차원 렌더링의 인증을 방지하는 데 도움이 된다.
사용자의 안면 특징의 이러한 매핑은 UE(102)에 안전하게 저장될 수 있고, 사용자의 선호도에 기초하여 UE(102)에서 안전하고 외부 엔티티에서 사용 가능하게 되는 것을 방지할 수 있다.
인증 시스템(114)은 안면 잠금해제 센서(212)를 포함하지만, 또한 전면 카메라(206), 근접 센서(208) 및 주변 광 센서(210)와 같은 다른 컴포넌트와 데이터를 분석하기 위한 프로세서, 센서 데이터를 저장, 캐시 또는 버퍼링하기 위한 메모리 (여러 전력 상태도 가질 수 있음) 등을 포함할 수 있다.
안면 잠금해제 센서(212)는 IR(적외선) 및 NIR(근적외선) 데이터를 감지하여 안면 인식을 수행하며, 이는 기술이 사용자를 인증하고 이에 따라 후술하는 방법에서 언급된 바와 같이 액세스 상태를 변경(예를 들어, UE(102)를 잠금 해제하기 위해)할 수 있는 한 가지 방법이다. 전력을 절약하기 위해 안면 잠금해제 센서(212)는 사용하지 않을 때 저전력 상태(단순히 꺼질 수도 있음)에서 작동한다. 특히, 근적외선 플러드 조명기(214) 및 근적외선 도트 프로젝터(216)는 오프 상태에서 발광하지 않는다. 그러나, NIR 플러드 조명기(214) 및 NIR 도트 프로젝터(216)에 대해 저전력 또는 무전력 상태에서 중간 전력 상태 및/또는 고전력 상태로의 전환과 관련된 워밍업 시퀀스가 사용될 수 있다. 이러한 컴포넌트 중 하나 또는 둘 모두의 전력을 켜면 사용자 인증 대기 시간을 0.5초 이상 줄일 수 있다. 많은 사용자가 매일 장치를 인증하는 횟수가 수십, 수백 번이라는 점을 감안할 때 사용자의 시간을 절약하고 경험을 개선할 수 있다. 본 명세서에서 언급된 바와 같이, 이 시간 지연은 레이더 시스템(104)에 의해 제공되는 레이더 데이터에 기초하여 사용자가 그들의 장치와 관여(본 명세서에서 사용되는 "관여"는 "인게이지(engage)"를 의미함)할 의도가 있다고 결정함으로써 레이더 관리자(106)에 의해 감소된다. 이는 상태 관리자(112)에 의해 관리된다. 실제로 이 기술은 워밍업 시퀀스에 관여하고 시작하려는 사용자의 의도를 사전에 감지한다. 이 기술은 사용자가 UE(102)를 터치하기 전에도 그렇게 할 수 있지만, 이것이 필수는 아니다. 따라서, 이 기술은 NIR 플러드 조명기(214) 및 NIR 도트 프로젝터(216)가 사용자를 인증하는 데 사용하기에 충분히 전력을 공급받을 수 있게 하고, 이는 사용자가 얼굴 인식이 완료되기를 기다리는 데 소비하는 시간을 줄인다.
UE(102)의 다른 컴포넌트로 이동하기 전에 안면 잠금해제 센서(212)의 측면을 고려한다. 인증 시스템(114)의 이 예시적인 컴포넌트는 디스플레이(116)의 평면에 대해 10도만큼 작은 각도에서 안면 인식을 사용하여 사용자를 인증할 수 있다. 따라서 사용자는 70~110도 또는 80~100도 각도와 같이 전화를 들고 센서를 얼굴로 돌릴 필요가 없다. 대신, 안면 잠금해제 센서(212)를 사용하는 인증 시스템(114)은 사용자가 UE(102)를 픽업하기 전에 사용자를 인증하도록 구성된다. 이는 디스플레이(116)의 평면(304)에 대해 10도만큼 작을 수 있는 각도(302)에서 안면 인식(예: 턱, 코, 광대뼈)에 사용되는 얼굴의 부분과 함께 사용자(120)를 도시하는 도 3에 예시되어 있다. 또한 도시된 바와 같이, 사용자(120)는 얼굴 거리(306)에서 도시된 바와 같이 안면 잠금해제 센서(212)로부터 1미터 이상 떨어져 있는 얼굴을 갖는 동안 인증된다. 그렇게 함으로써, 기술은 UE(102)가 거꾸로 또는 이상한 각도로 배향된 경우에도 거의 매끄럽고 즉각적인 인증을 허용한다.
더 자세하게, IMU 및 레이더를 통한 인증 관리를 위한 기술을 구현할 수 있는 UE(102)(레이더 매니저(106), 움직임 매니저(110), 상태 매니저(112) 포함)의 예시적인 구현(400)을 도시하는 도 4를 고려한다. 도 4의 UE(102)는 UE(102-1), 태블릿(1022), 랩탑(102-3), 데스크탑 컴퓨터(102-4), 컴퓨팅 시계(102-5), 컴퓨팅 안경(102-6), 게임 시스템(102-7), 홈 오토메이션 및 제어 시스템(102-8), 및 마이크로파(102 9)를 포함하는 다양한 예시적인 디바이스로 예시되어 있다. UE(102)는 또한 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 자동차, 드론, 트랙 패드, 드로잉 패드, 넷북, e-리더, 홈 보안 시스템 및 기타 가전 제품과 같은 다른 디바이스를 포함할 수 있다. UE(102)는 착용 가능, 착용 불가능하지만 이동 가능하거나 상대적으로 움직이지 않을 수 있음(예: 데스크탑 및 어플라이언스) 에 유의한다.
UE(102)의 예시적인 전체 측방향 치수는 예를 들어 대략 8센티미터 x 대략 15센티미터일 수 있다. 레이더 시스템(104)의 예시적인 풋프린트는 안테나가 포함된 대략 4mm x 6mm와 같이 훨씬 더 제한될 수 있다. 전력 및 처리 제한과 결합된 이러한 공간 제한 패키지에서 UE(102)의 많은 다른 바람직한 특징을 수용하는 데 필요한 레이더 시스템(104)에 대한 이러한 제한된 풋프린트의 요건은 레이더 제스처 탐지의 정확성 및 효율성에서 타협으로 이어질 수 있으며, 그 중 적어도 일부는 여기의 교시에 비추어 극복될 수 있다.
UE(102)는 또한 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 프로세서(402) 및 하나 이상의 컴퓨터 판독가능 매체(404)를 포함한다. 컴퓨터 판독 가능 매체(404) 상의 컴퓨터 판독 가능 명령어로서 구현된 애플리케이션 및/또는 운영 체제(도시되지 않음)는 레이더 매니저(106), 움직임 매니저(110), 및 상태 매니저(112)의 기능의 일부 또는 전부와 같은(필수는 아니지만 컴퓨터 판독 가능 매체(404)에 표시됨), 본 명세서에 설명된 기능의 일부 또는 전부를 제공하기 위해 컴퓨터 프로세서(402)에 의해 실행될 수 있다.
UE(102)는 또한 네트워크 인터페이스(406)를 포함할 수 있다. UE(102)는 유선, 무선 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(406)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(406)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 영역 네트워크(PAN), 광역 네트워크(WAN), 인트라넷, 인터넷, 피어 투 피어 네트워크, 점대점(point-to-point) 네트워크 또는 메쉬 네트워크를 통해 데이터를 통신할 수 있다.
양상들에서, 레이더 시스템(104)은 하드웨어에서 적어도 부분적으로 구현된다. 레이더 시스템(104)의 다양한 구현은 SoC(System-on-Chip), 하나 이상의 집적 회로(IC), 임베디드 프로세서 명령어를 포함하거나 메모리에 저장된 프로세서 명령어에 액세스하도록 구성된 프로세서, 임베디드 펌웨어가 있는 하드웨어, 다양한 하드웨어 컴포넌트가 있는 인쇄 회로 기판 또는 이들의 임의의 조합을 포함할 수 있다. 레이더 시스템(104)은 자체 레이더 신호를 송수신함으로써 모노스태틱 레이더로 작동한다. 일부 구현들에서, 레이더 시스템(104)은 또한 바이스태틱 레이더, 멀티스태틱 레이더, 또는 네트워크 레이더를 구현하기 위해 외부 환경 내에 있는 다른 레이더 시스템들(104)과 협력할 수 있다. 그러나, UE(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 미칠 수 있다. 예를 들어, UE(102)는 레이더를 작동하는데 이용 가능한 제한된 전력, 제한된 계산 능력, 크기 제약, 레이아웃 제약, 레이더 신호를 감쇠 또는 왜곡하는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 아래에서 추가로 설명되는 바와 같이 이러한 제약이 존재하는 경우에 고급 레이더 기능 및 고성능이 실현될 수 있도록 하는 여러 특징을 포함한다.
상태 관리자(112)가 작동할 수 있는 추가적인 예시적인 방식을 설정하기 전에, UE(102)가 동작할 수 있는 많은 정보, 전력 및 액세스 상태를 예시하는 도 5를 고려한다.
도 5는 UE(102)가 동작할 수 있는 액세스, 정보 및 전력 상태를 예시하며, 이들 각각은 설명된 기술에 의해 관리될 수 있다. 장치 상태(500)의 이러한 예시적인 레벨 및 유형은 시각적 간결성을 위해 세 가지 수준의 세분성으로 표시되지만 액세스 상태(502), 전력 상태(504) 및 정보 상태(506)에 대해 각각의 많은 레벨이 고려된다. 액세스 상태(502)는 세 가지 수준의 세분성, 높은 액세스(고액세스) 상태(502-1), 중간 액세스 상태(502-2) 및 낮은 액세스(저액세스) 상태(502-3)와 함께 표시된다. 유사하게, 전력 상태(504)는 입도, 높은 전력(고전력) 상태(504-1), 중간 전력 상태(504-2), 및 낮은 전력(저전력) 상태(504-3)의 3가지 예시적인 레벨로 도시된다. 마찬가지로, 정보 상태(506)는 세 개의 입도, 높은 정보(고정보) 상태(506-1), 중간 정보 상태(506-2), 및 낮은 정보(저정보) 상태(506-3)의 3가지 예시적인 레벨을 보여준다.
더 상세하게, 액세스 상태(502)는 UE(102)의 데이터, 애플리케이션, 기능, 계정, 또는 컴포넌트에 대해 장치의 사용자가 이용할 수 있는 액세스 권한과 관련된다. 이 액세스는 높을 수 있으며, UE(102)에 대한 "잠금 해제" 상태라고도 한다. 이 높은 액세스 수준은 단순히 장치의 애플리케이션 및 기능을 포함할 수 있거나 UE(102)를 통해 액세스할 수 있는 은행 계좌, 소셜 미디어 계정 등과 같은 다양한 계정에 대한 액세스를 포함할 수도 있다. UE(102)와 같은 많은 컴퓨팅 장치는 높은 액세스 상태(502-1)와 같은 높은 액세스를 제공하기 위해 인증을 필요로 한다.
그러나 사용자가 UE(102)의 일부 계정, 서비스 또는 컴포넌트에 액세스하지 못하도록 허용하는 상태와 같은 다양한 중간 액세스 레벨(예를 들어, 502-2)이 UE(102)에 의해 허용될 수 있다. 예를 들어 사용자가 사진을 찍을 수는 있지만 이전에 캡처한 사진에 액세스할 수는 없다. 다른 예로는 사용자가 전화를 받을 수 있지만 전화를 걸 때 연락처 목록에 액세스할 수는 없다. 이는 중간 액세스 상태(502-2)로 도시된 UE(102)가 허용할 수 있는 많은 중간 권한 중 일부에 불과하다. 높은 액세스 레벨(502-1) 또는 높은 액세스 레벨과 중간 액세스 레벨(502-2) 모두는 도 5에 점선 박스로 예시된 바와 같이 인증된 상태(508)일 수 있다. 인증된 상태(508)는 사용자가 인증되어 UE(102)에 의해 액세스(항상 전체 액세스는 아님)가 허용된 상태의 한 예이다. 따라서 사용자가 인증된 다음 액세스 권한이 부여된다. 이 문서 전체에 걸쳐 언급된 바와 같이, 설명된 기술 및 시스템은 더 큰 보안을 가능하게 하며, 여기서 UE(102)에 대한 액세스는 사용자에게 더 쉬울 뿐만 아니라 승인된 액세스가 제3자가 아닌 인증된 사용자에게 있을 가능성이 더 높다. 마지막으로, 액세스 상태(502)는 낮은 액세스 상태(502-3)로 도시된 액세스 허용을 억제할 수 있다. 이 경우, 장치가 켜져 있을 수 있고, 사용자를 깨우기 위한 알람과 같은 알림을 보낼 수 있지만, UE(102)의 기능에 대한 액세스를 허용하지 않을 수 있다(또는 UE(102)는 단순히 꺼져 있을 수 있고, 따라서 액세스를 허용하지 않을 수 있음).
전력 상태(504)는 세 가지 예시적인 입도(granularity) 레벨, 즉 고전력 상태(504-1), 중간 전력 상태(504-2) 및 저전력 상태(504-3)로 도시되어 있다. 전력 상태(504)는 레이더 시스템(104), 디스플레이(116), 또는 다른 전력 소모 컴포넌트(프로세서, 카메라, 마이크로폰, 음성 어시스턴트, 터치스크린, 센서, 레이더, 및 인증 시스템(114)의 일부인 컴포넌트와 같은 다른 전력 소비 컴포넌트)(여기에는 나열된 이전 컴포넌트도 포함될 수 있음)와 같은, UE(102)의 하나 이상의 컴포넌트에 대한 전력량과 관련된다. 일반적으로 전력 상태(504)뿐만 아니라 컴포넌트에 전력을 공급하는 컨텍스트에서, 전력, 전력 공급, 전력 증가, 전력 감소 등의 용어는 전력 관리 집적 회로(PMIC: power-management integrated circuit)의 제어; PMIC에서 확장되는 전력 레일 관리; 파워 레일, PMIC, 및 하나 이상의 회로 컴포넌트 사이의 개폐 스위치(예: 언급된 NIR 컴포넌트, 카메라, 디스플레이 및 레이더); 그리고 컴포넌트를 정확하고 안전하게 작동하기 위해 공급 전압을 제공(적용된 전압을 램핑 또는 분배하거나 돌입 전류를 관리하는 것이 포함됨)하는 것을 포함한다.
레이더 시스템(104)과 관련하여, 전력 상태(504)는 상이한 듀티 사이클(예: 낮은 주파수는 더 적은 전력을 사용하고 높은 주파수는 더 많은 전력을 사용할 수 있음)에서 레이더 데이터를 수집하거나, 컴포넌트가 활성화되지 않을 때 다양한 컴포넌트를 끄거나, 전력 증폭 레벨을 조정함으로써 감소될 수 있다. 그렇게 함으로써, 레이더 시스템(104)은 고전력 상태(504-1)에서 대략 90mW의 전력, 중간 전력 상태(504-2)에서 30 내지 60mW, 또는 저전력 상태(504-3)에서 30mW 미만을 사용할 수 있다(예를 들어, 레이더 시스템(104)은 사용자 존재와 같은 일부 사용 가능한 레이더 데이터를 계속 제공하면서 2에서 20mW로 작동할 수 있음). 이러한 전력 사용 레벨(수준)은 각각 다른 해상도와 거리를 허용한다. 레이더 시스템(104)(및 UE(102))의 전력 관리에 관한 추가 세부사항은 도 6a을 참조하여 설명된다.
위에서 언급한 상태 변경의 컨텍스트에서, 상태 관리자(112)는 레이더 관리자(106) 또는 이동 관리자(110)에 의한 결정에 기초하여 인증 시스템(114) 또는 디스플레이(116)와 같은 UE(102)의 다양한 컴포넌트에 대한 전력을 저전력 상태로부터 증가시킬 수 있다(예를 들어, 저전력 상태(504-3)에서 중간 전력 상태(504-2)로 또는 이들 중 하나를 고전력 상태(504-1)로). 그렇게 함으로써, UE(102)는 사용자와 더 빨리 또는 더 쉽게 관여하거나 사용자를 인증할 수 있다. 따라서, 상태 관리자(112)는 전력 상태(504)를 UE(102)의 시스템 또는 UE(102)와 연관된 특정 전력 소비 엔티티에 대한 현재의 경우보다 더 높거나 더 낮은 전력이 되도록 변경할 수 있다. 안면 잠금해제 센서(212) 및 그 컴포넌트, NIR 플러드 조명기(214) 및 NIR 도트 프로젝터(216), NIR 카메라(218-1, 218-2)의 전력 켜기(또는 끄기)를 포함하는 예시적인 컴포넌트는 위의 도 2의 일부로 추가로 설명된다.
UE(102)의 제3 예시적인 상태는 정보 상태(506)이며, 이는 높은 정보 상태(506-1), 중간 정보 상태(506-2), 및 낮은 정보 상태(506-3)로 예시된다. 더 상세하게는, 정보 상태(506)는 사용자, 예를 들어 도 1의 사용자(120)에게 제공되는 정보의 양과 관련된다. 알림(통지)의 컨텍스트에서, 높은 정보 상태(506-1)는 가장 높은 수준(레벨)의 정보를 제공하고, 일반적으로 UE(102)가 잠금 해제되거나 인증되지 않았거나 인증 없이도 높은 수준(레벨)의 정보를 제공하기 위한 사용자 선호도가 있다고 가정한다. 예를 들어 높은 정보 상태(506-1)의 경우 전화를 받을 때 발신자의 이름, 번호 및 연결된 이미지를 표시하는 경우가 있다. 유사하게, 문자나 이메일, 또는 다른 유형의 메시지가 수신될 때, 콘텐츠는 디스플레이(116) 또는 오디오 스피커, 주변기기 등을 통해 자동으로 제시된다. 이는 사용자의 선호도에 따라 필요한 관여가 결정될 수 있지만 높은 수준의 관여를 가정한다. 여기에서는 사용자의 관여(engagement)와 제공되는 정보의 양 사이에 일부 상관관계가 있다고 가정하므로 관여를 결정하는 기술은 해당 결정에 제공된 정보를 조정할 수 있다. 축소된 정보의 예, 예를 들어 중간 정보 상태(506-2)는 전화가 수신되었지만 발신자의 이름/식별이 아닌 벨소리를 표시하는 것, 문자 메시지 또는 이메일이 수신되었지만 제목만 수신되었음을 나타내는 것(또는 주소 또는 본문 내용의 전체가 아닌 일부만 포함)을 포함할 수 있다. 낮은 정보 상태(506-3)는 사용자(120)와 개인적으로 관련된 정보를 거의 또는 전혀 나타내지 않지만, 일반적이거나 널리 알려진 상식 또는 민감하지 않은 정보를 포함할 수 있다(예를 들어, 현재 날짜, 시간, 날씨 조건, 배터리 전력 상태를 보여주는 디스플레이(116), 또는 UE(102)가 켜져 있는 것). 낮은 정보 상태(506-3)의 다른 예는 문자 메시지가 수신될 때 메시지가 수신되었음을 나타내는 가청 "핑(ping)" 또는 호출에 대한 벨소리를 포함하지만, 발신자에 대한 이름, 번호 또는 기타 정보는 포함하지 않는다.
도 6a은 레이더 시스템(104)의 예시적인 구현(600)을 도시한다. 실시예 600에서, 레이더 시스템(104)은 통신 인터페이스(602), 안테나 어레이(604), 송수신기(트랜시버)(606), 프로세서(608), 및 시스템 매체(610)(예를 들어, 하나 이상의 컴퓨터 판독 가능 저장 매체)의 각각의 컴포넌트 중 적어도 하나를 포함한다. 프로세서(608)는 디지털 신호 프로세서, 컨트롤러(제어기), 애플리케이션 프로세서, 다른 프로세서(예를 들어, UE(102)의 컴퓨터 프로세서(402)) 또는 이들의 일부 조합으로서 구현될 수 있다. UE(102)의 컴퓨터 판독가능 매체(404) 내에 포함되거나 분리될 수 있는 시스템 매체(610)는 감쇠 완화기(attenuation mitigator)(614), 디지털 빔포머(빔형성기)(616), 각도 추정기(618), 또는 전력 관리 모듈(620) 중 하나 이상을 포함한다. 이러한 모듈은 UE(102) 내에 레이더 시스템(104)을 통합하는 효과를 보상하거나 완화할 수 있으며, 이에 의해 레이더 시스템(104)이 작거나 복잡한 제스처를 인식하고, 사용자의 서로 다른 방향(예를 들어, "도달(reach)")을 구별할 수 있게 하고, 외부 환경을 지속적으로 모니터링하거나 목표 오경보율을 실현한다. 이러한 특징으로, 레이더 시스템(104)은 도 4에 예시된 장치와 같은 다양한 상이한 장치 내에서 구현될 수 있다.
통신 인터페이스(602)를 사용하여, 레이더 시스템(104)은 레이더 관리자(106)에 레이더 데이터를 제공할 수 있다. 통신 인터페이스(602)는 UE(102)와 별도로 구현되거나 UE(102) 내에 통합되는 레이더 시스템(104)에 기반한 무선 또는 유선 인터페이스일 수 있다. 애플리케이션에 따라 레이더 데이터는 원시 또는 최소 처리 데이터, 동위상 및 직교(I/Q) 데이터, 거리 도플러 데이터, 대상 위치 정보(예: 범위, 방위각, 고도)를 포함하는 처리 데이터, 클러터 지도 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 상태 관리자(112)에 관여, 관여해제 또는 관여를 유지하려는 사용자의 의도를 제공하기 위해 레이더 관리자(106)에 의해 사용 가능한 정보를 포함한다.
안테나 어레이(604)는 적어도 하나의 송신 안테나 소자(도시되지 않음) 및 적어도 2개의 수신 안테나 소자(도 7에 도시됨)를 포함한다. 일부 경우에, 안테나 어레이(604)는 한 번에 다수의 별개의 파형(예: 송신 안테나 요소마다 다른 파형)을 송신할 수 있는 MIMO(다중 입력 다중 출력) 레이더를 구현하기 위해 다수의 송신 안테나 요소를 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬 수 있다. 수신 안테나 소자는 3개 이상의 수신 안테나 소자를 포함하는 구현을 위해 1차원 형상(예를 들어, 선) 또는 2차원 형상으로 위치될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예: 방위각 또는 고도)를 측정할 수 있게 하는 반면, 2차원 형상은 2개의 각도 치수(예: 방위각과 고도 모두)를 측정할 수 있게 한다. 수신 안테나 요소의 예시적인 2차원 배열은 도 7과 관련하여 추가로 설명된다.
도 6b는 예시적인 트랜시버(송수신기)(606) 및 프로세서(608)를 도시한다. 트랜시버(606)는 레이더 시스템(104)의 작동 상태에 따라 전력 관리 모듈(620)을 통해 개별적으로 켜거나 끌 수 있는 다수의 컴포넌트를 포함한다. 전력 관리 모듈(620)은 상태 관리자(112)가 사용자를 인증하는 데 사용되는 컴포넌트(예: 인증 시스템(114))의 전력을 켜거나 끄는 경우와 같이 상태 관리자(112)와 분리되거나, 통합되거나, 그 제어 하에 있을 수 있다. 트랜시버(606)는 능동(활성) 컴포넌트(622), 전압 제어 발진기(VCO) 및 전압 제어 버퍼(624), 멀티플렉서(MUX)(626), 아날로그-디지털 변환기(ADC)(628), 위상 고정 루프(PLL: Phase Lock Loop)(630) 및 수정 발진기(632)과 같은 컴포넌트들 각각 중 적어도 하나를 포함하는 것으로 도시되어 있다. 턴온되면, 레이더 시스템(104)이 레이더 신호를 송신 또는 수신하기 위해 이들 컴포넌트를 능동적으로 사용하지 않더라도, 이들 컴포넌트 각각은 전력을 소비한다. 능동 컴포넌트(622)는, 예를 들어, 공급 전압에 연결된 증폭기 또는 필터를 포함할 수 있다. VCO(624)는 PLL(630)에 의해 제공되는 제어 전압에 기초하여 주파수 변조된 레이더 신호를 생성한다. 수정 발진기(632)는 레이더 시스템(104) 내에서 신호 생성, 주파수 변환(예를 들어, 상향 변환 또는 하향 변환), 또는 타이밍 동작을 위한 기준 신호를 생성한다. 이러한 컴포넌트를 켜거나 끔으로써, 전력 관리 모듈(620)은 레이더 시스템(104)이 활성 및 비활성 작동 상태 사이를 신속하게 전환하고 다양한 비활성 기간 동안 전력을 보존할 수 있게 한다. 이러한 비활성 기간은 마이크로초(μs), 밀리초(ms) 또는 초(s) 정도일 수 있다.
프로세서(608)는 저전력 프로세서(608-1) 및 고전력 프로세서(608-2)와 같이 상이한 양의 전력을 소비하는 다중 프로세서를 포함하는 것으로 도시되어 있다. 예를 들어, 저전력 프로세서(608-1)는 레이더 시스템(104) 내에 내장된 프로세서를 포함할 수 있고 고전력 프로세서는 레이더 시스템(104) 외부에 있는 컴퓨터 프로세서(402) 또는 일부 다른 프로세서를 포함할 수 있다. 전력 소비의 차이는 사용 가능한 메모리 또는 계산 능력의 양이 다르기 때문에 발생할 수 있다. 예를 들어, 저전력 프로세서(608-1)는 고전력 프로세서(608-2)에 비해 더 적은 메모리를 사용하거나, 더 적은 계산을 수행하거나, 더 간단한 알고리즘을 사용할 수 있다. 이러한 제한에도 불구하고 저전력 프로세서(608-1)는 근접 감지 또는 모션 감지(관성 데이터가 아닌 레이더 데이터에 기반)와 같은 덜 복잡한 레이더 기반 애플리케이션을 위한 데이터를 처리할 수 있다. 대조적으로, 고전력 프로세서(608-2)는 많은 양의 메모리를 활용하거나, 많은 양의 계산을 수행하거나, 복잡한 신호 처리, 추적 또는 기계 학습 알고리즘을 실행할 수 있다. 고전력 프로세서(608-2)는 제스처 인식, (인증 시스템(114)용) 얼굴 인식과 같은 하이 프로파일 레이더 기반 애플리케이션을 위한 데이터를 처리하고 각도 모호성의 해상도 또는 다중 사용자 및 그 기능의 구별을 통해 정확한 고해상도 데이터를 제공할 수 있다.
전력을 절약하기 위해, 전력 관리 모듈(620)은 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2)가 레이더 데이터를 처리하는 데 사용되는지 여부를 제어할 수 있다. 일부 경우에 저전력 프로세서(608-1)는 분석의 일부를 수행하고 데이터를 고전력 프로세서(6082)로 전달할 수 있다. 예시적인 데이터는 클러터 맵(지도), 원시 또는 최소한으로 처리된 레이더 데이터(예: 동위상 및 직교 데이터 또는 범위 도플러 데이터) 또는 디지털 빔포밍 데이터를 포함할 수 있다. 저전력 프로세서(6081)는 또한 고전력 프로세서(6082)가 분석할 환경에 관심 있는 것이 있는지 여부를 결정하기 위해 일부 저수준 분석을 수행할 수 있다. 이러한 방식으로, 고성능 프로세서(608-2)의 동작을 제한함으로써 전력을 절약할 수 있으며, 레이더 기반 애플리케이션에 의해 고충실도 또는 정확한 레이더 데이터가 요청되는 상황에 대해 고전력 프로세서(608-2)를 활용한다. 레이더 시스템(104) 내에서 전력 소비에 영향을 미칠 수 있는 다른 요인들은 도 6a과 관련하여 추가로 설명된다.
이들 및 기타 능력 및 구성은 물론, 도 1, 2, 4, 6-9의 엔티티가 작동하고 상호 작용하는 방식은 아래에 더 자세히 설명되어 있다. 이러한 엔터티는 추가로 분할, 결합 등을 할 수 있다. 도 1의 환경(100) 및 도 2 내지 도 9의 상세한 예시는 설명된 기술을 사용할 수 있는 많은 가능한 환경 및 장치의 일부를 예시한다. 도 6-9는 레이더 시스템(104)의 추가적인 세부사항 및 특징을 설명한다. 도 6-9에서, 레이더 시스템(104)은 UE(102)의 컨텍스트에서 설명되지만, 위에서 언급된 바와 같이, 설명된 시스템 및 기술의 특징 및 이점의 적용 가능성은 반드시 그렇게 제한되지 않으며, 다른 유형의 전자 장치를 포함하는 다른 실시예 장치는 또한 본 교시의 범위 내에 있을 수 있다.
도 7은 수신 안테나 소자(702)의 예시적인 배열(700)을 도시한다. 안테나 어레이(604)가 적어도 4개의 수신 안테나 요소(702)를 포함하는 경우, 예를 들어 수신 안테나 요소(702)는 도 7의 중간에 도시된 바와 같이 직사각형 배열(704-1)로 배열될 수 있다. 대안적으로, 안테나 어레이(604)가 적어도 3개의 수신 안테나 요소들(702)을 포함하는 경우 삼각형 배열(704-2) 또는 L-형 배열(704-3)이 사용될 수 있다.
UE(102)의 크기 또는 레이아웃 제약으로 인해, 수신 안테나 요소(702) 사이의 요소 간격 또는 수신 안테나 요소(702)의 양(quantity)은 레이더 시스템(104)이 모니터링해야 하는 각도에 대해 이상적이지 않을 수 있다. 특히, 요소 간격은 기존 레이더가 타겟의 각도 위치를 추정하는 것을 어렵게 만드는 모호한 각도가 존재하도록 할 수 있다. 따라서 기존의 레이더는 각도가 모호한, 모호한 영역을 피하기 위해 시야(예: 모니터링해야 하는 각도)를 제한하여 잘못된 탐지를 줄일 수 있다. 예를 들어, 기존 레이더는 8밀리미터(mm)의 파장과 6.5mm의 요소 간격을 사용하여 발생하는 모호한 각도를 피하기 위해 약 -45도에서 45도 사이의 각도로 시야를 제한할 수 있다(예: 요소 간격이 파장의 90%임). 결과적으로, 기존의 레이더는 시야의 45도 한계를 넘어선 타겟을 탐지하지 못할 수 있다. 대조적으로, 레이더 시스템(104)은 각도 모호성을 해결하고 레이더 시스템(104)이 45도 한계를 초과하는 각도(예를 들어, 약 -90도에서 90도 사이, 또는 최대 약 -180도에서 180도 사이의 각도)를 모니터링할 수 있게 하는 디지털 빔포머(616) 및 각도 추정기(618)를 포함한다. 이러한 각도 범위는 하나 이상의 방향(예: 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 같은 요소 간격(element spacing)을 포함하는 다양한 상이한 안테나 어레이 설계에 대해 낮은 오경보율(false-alarm rate)을 실현할 수 있다.
안테나 어레이(604)를 사용하여, 레이더 시스템(104)은 조정되거나 조정되지 않거나, 넓거나 좁거나, 모양(예를 들어, 반구, 큐브, 팬, 원뿔 또는 실린더)인 빔을 형성할 수 있다. 예로서, 하나 이상의 송신 안테나 요소(도시되지 않음)는 조정되지 않은 전방향성 방사 패턴을 가질 수 있거나 광폭 송신 빔(Wide Transmit Beam)(706)과 같은 광폭 빔을 생성할 수 있다. 이들 기술 중 어느 하나는 레이더 시스템(104)이 많은 공간을 조명(illuminate)하는 것을 가능하게 한다. 그러나 타겟 각도 정확도 및 각도 해상도을 달성하기 위해, 수신 안테나 요소(702) 및 디지털 빔포머(616)는 좁은 수신 빔(Narrow Receive Beam)(708)과 같은 수천 개의 좁은 조정 빔(steered beam)(예: 3000빔, 7000빔, 9000빔)을 생성하는 데 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사의 도달 각도를 정확하게 결정할 수 있다.
도 6a로 돌아가면, 트랜시버(송수신기)(606)는 안테나 어레이(604)를 통해 레이더 신호를 송수신하기 위한 회로 및 로직을 포함한다. 송수신기(606)의 컴포넌트는 레이더 신호를 조절하기 위한 증폭기, 믹서, 스위치, 아날로그-디지털 변환기, 필터 등을 포함할 수 있다. 트랜시버(606)는 또한 변조 또는 복조와 같은 동상/직교(I/Q) 동작을 수행하기 위한 로직을 포함할 수 있다. 트랜시버(606)는 연속파 레이더 동작 또는 펄스 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 단계적 주파수 변조 또는 위상 변조를 비롯한 다양한 변조를 사용하여 레이더 신호를 생성할 수 있다.
트랜시버(606)는 1GHz와 400GHz 사이, 4GHz와 100GHz 사이, 또는 57GHz와 63GHz 사이와 같은 주파수 범위(예를 들어, 주파수 스펙트럼) 내에서 레이더 신호를 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 다른 대역폭을 갖는 여러 하위 스펙트럼으로 나눌 수 있다. 대역폭은 500MHz, 1GHz, 2GHz 등일 수 있다. 예로서, 상이한 주파수 서브스펙트럼은 대략 57GHz와 59GHz, 59GHz와 61GHz, 또는 61GHz와 63GHz 사이의 주파수를 포함할 수 있다. 동일한 대역폭을 갖고 인접하거나 비연속적일 수 있는 다중 주파수 서브스펙트럼도 일관성을 위해 선택될 수 있다. 다중 주파수 하위 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 시간에 따라 분리되거나 동시에 전송될 수 있다. 인접 주파수 하위 스펙트럼은 레이더 신호가 더 넓은 대역폭을 가질 수 있게 하는 반면 비연속 주파수 하위 스펙트럼은 각도 추정기(618)가 각도 모호성을 해결할 수 있게 하는 진폭 및 위상 차이를 추가로 강조할 수 있다. 감쇠 완화기(614) 또는 각도 추정기(618)는 송수신기(606)가 도 8 및 도 9와 관련하여 추가로 설명되는 바와 같이 레이더 시스템(104)의 성능을 개선하기 위해 하나 이상의 주파수 서브-스펙트럼을 이용하게 할 수 있다. 기술의 일부 실시예는, UE(102)가 핸드헬드 스마트폰일 때, 레이더 신호가 57Ghz - 64Ghz 대역에 있고, 최대 유효 등방성 복사 전력(EIRP: effective isotropic radiated power)이 10dBm - 20dBm(10mW - 100mW) 범위에 있으며, 평균 전력 스펙트럼 밀도가 약 13dBm/MHz이고, 이는 방사선 건강 및 공존 문제를 적절하게 해결하는 동시에 IMU 및 레이더를 통한 인증 관리에 대해 설명된 방법이 전력을 절약하면서 시간을 절약하는 편리함을 제공하는 스마트폰 및 사용자 주변(예: 최소 1미터, 종종 최대 2미터 이상)에 적절한 크기의 레이더 감지 "bubble"을 제공한다는 점에서 유리하다.
전력 관리 모듈(620)은 성능과 전력 소비의 균형을 맞추기 위해 전력 사용을 관리한다. 예를 들어, 전력 관리 모듈(620)은 레이더 관리자(106)와 통신하여 레이더 시스템(104)이 미리 정의된 레이더 전력 상태를 사용하여 데이터를 수집하게 한다. 미리 정의된 각각의 레이더 전력 상태는 특정 프레이밍 구조, 특정 전송 전력 수준 또는 특정 하드웨어(예: 도 6b의 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2))와 연관될 수 있다. 이들 중 하나 이상을 조정하면 레이더 시스템의 전력 소비에 영향을 준다. 그러나 전력 소비를 줄이면 제스처 프레임 업데이트 레이트 및 응답 지연과 같은 성능에 영향을 미치며 이에 대해서는 아래에서 설명한다.
도 6c은 전력 소비, 제스처 프레임 업데이트 레이트(634) 및 응답 지연 간의 관계 예를 보여준다. 그래프(636)에서, 레이더 전력 상태(6381, 638-2, 638-3)는 전력 소비의 상이한 레벨 및 제스처 프레임 업데이트 레이트(634)와 연관된다. 제스처 프레임 업데이트 레이트(634)는 레이더 시스템(104)이 하나 이상의 레이더 신호를 송수신함으로써 외부 환경을 얼마나 자주 능동적으로 모니터링하는지를 나타낸다. 일반적으로 말하면, 전력 소비는 제스처 프레임 업데이트 레이트(634)에 비례한다. 이와 같이, 더 높은 제스처 프레임 업데이트 레이트(634)는 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비되게 한다.
그래프(636)에서, 레이더 전력 상태(638-1)는 가장 적은 양의 전력을 사용하는 반면, 레이더 전력 상태(638-3)는 가장 많은 양의 전력을 소비한다. 예로서, 레이더 전력 상태(638-1)는 적은 밀리와트(mW) 정도의 전력(예: 약 2mW에서 4mW 사이)을 소비하는 반면 레이더 전력 상태(638-3)는 수 밀리와트 정도의 전력(예: 약 6mW ~ 20mW)을 소비한다. 제스처 프레임 업데이트 레이트(속도)(634)와 관련하여 레이더 전력 상태(638-1)는 몇 헤르츠(예: 약 1Hz 또는 5Hz 미만) 정도의 업데이트 속도를 사용하는 반면 레이더 전력 상태(638-3)는 수십 헤르츠 정도(예: 약 20Hz 또는 10Hz 초과) 의 제스처 프레임 업데이트 레이트(634)를 사용한다.
그래프(640)는 상이한 레이더 전력 상태(638-1 내지 638-3)에 대한 제스처 프레임 업데이트 레이트(634)와 응답 지연 사이의 관계를 도시한다. 일반적으로 말해서, 응답 지연은 제스처 프레임 업데이트 레이트(634)와 전력 소비 모두에 반비례한다. 특히, 제스처 프레임 업데이트 레이트(634)가 증가하는 동안 응답 지연은 기하급수적으로 감소한다. 레이더 전력 상태(638-1)와 관련된 응답 지연은 수백 밀리초(ms) 정도(예를 들어, 1000ms 또는 200ms 이상)일 수 있지만 레이더 전력 상태(638-3)와 관련된 응답 지연은 몇 밀리초 정도(예: 50ms 또는 100ms 미만)일 수 있다. 레이더 전력 상태(638-2)에 대해 전력 소비, 제스처 프레임 업데이트 레이트(Gesture-Frame Update Rate)(634) 및 응답 지연은 레이더 전력 상태(638-1)와 레이더 전력 상태(638-3) 사이에 있다. 예를 들어 레이더 전력 상태의 638-2 전력 소비는 약 5mW이고 제스처 프레임 업데이트 레이트는 약 8Hz이며 응답 지연은 약 100ms에서 200ms 사이이다.
레이더 전력 상태(638-1_ 또는 레이더 전력 상태(638-3)에서 작동하는 대신, 전력 관리 모듈(620)은 레이더 전력 상태(638-1, 638-2, 638-3)(및 이러한 레이더 전력 상태(638) 각각 사이의 하위 상태) 사이를 동적으로 전환하여 응답 지연 및 전력 소비가 환경 내의 활동에 따라 함께 관리되도록 한다. 예를 들어, 전력 관리 모듈(620)은 외부 환경을 모니터링하거나 접근하는 사용자를 감지하기 위해 레이더 전력 상태(638-1)를 활성화한다. 나중에, 전력 관리 모듈(620)은 레이더 시스템(104)이 사용자가 관여할 의도를 나타내고 있거나 그렇게 하기 시작할 수 있거나 제스처를 수행하기 시작한다고 결정하면 레이더 전력 상태(638-3)를 활성화한다. 상이한 트리거는 전력 관리 모듈(620)이 상이한 레이더 전력 상태(638-1 내지 638-3) 사이를 스위칭하게 할 수 있다. 예시적인 트리거는 모션 또는 모션의 부족, 사용자의 출현 또는 사라짐, 사용자가 지정된 영역(예: 범위, 방위각 또는 고도로 정의된 영역)으로 또는 밖으로 이동하는 것, 사용자와 관련된 모션의 속도 변화, 레이더 관리자(106)에 의해 결정된 관여 의도(예: 얼굴 특징 추적과 같은 추가 기능에 관여할 의도를 통한 "도달(reach)") 또는 반사 신호 강도의 변화(예: 레이더 단면(크로스 섹션)의 변화로 인해)를 포함한다. 일반적으로, 사용자가 UE(102)와 상호작용할 가능성이 더 낮거나 더 긴 응답 지연을 사용하여 데이터를 수집하는 선호를 나타내는 트리거는 전력을 보존하기 위해 레이더 전력 상태(638-1)가 활성화되게 할 수 있다.
일반적으로, 전력 관리 모듈(620)은 전력이 보존될 수 있는 시기 및 방법을 결정하고, 레이더 시스템(104)이 UE(102)의 전력 제한 내에서 동작할 수 있도록 전력 소비를 점진적으로 조정한다. 일부 경우에, 전력 관리 모듈(620)은 남은 가용 전력의 양을 모니터링하고 그에 따라 레이더 시스템(104)의 동작을 조정할 수 있다(예를 들어, 배터리 부족으로 인해). 예를 들어, 남은 전력량이 낮으면 전력 관리 모듈(620)은 레이더 전력 상태(638-2 또는 638-3) 중 하나로 전환하는 대신 레이더 전력 상태(638-1)에서 계속 작동할 수 있다.
각각의 전력 상태(638-1 내지 638-3)는 특정 프레임 구조와 연관될 수 있다. 프레이밍 구조는 레이더 신호의 송수신과 관련된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로 외부 환경에 따라 적절한 레이더 데이터를 수집할 수 있도록 프레이밍 구조를 설정한다. 프레이밍 구조는 다양한 애플리케이션(예: 근접 감지, 기능 인식 또는 제스처 인식)에 대한 다양한 유형의 레이더 데이터 수집을 용이하게 하도록 사용자 지정할 수 있다. 프레이밍 구조의 각 레벨 전체에 걸쳐 비활성 시간 동안, 전력 관리 모듈(620)은 전력을 보존하기 위해 도 6b의 트랜시버(606) 내의 컴포넌트를 끌 수 있다. 프레임 구조의 예는 도 6d와 관련하여 추가로 설명된다.
도 6d는 프레임 구조(642)의 예를 보여준다. 도시된 구성에서, 프레임 구조(642)는 3가지 상이한 유형의 프레임을 포함한다. 최상위 레벨에서, 프레이밍 구조(642)는 활성 상태 또는 비활성 상태에 있을 수 있는 제스처 프레임(644)의 시퀀스를 포함한다. 일반적으로 활성 상태는 비활성 상태에 비해 더 많은 전력을 소비한다. 중간 레벨에서, 프레이밍 구조(642)는 유사하게 활성 상태 또는 비활성 상태에 있을 수 있는 특징 프레임(FF)(646)의 시퀀스를 포함한다. 다른 유형의 특징 프레임에는 펄스 모드 특징 프레임(648)(도 6d의 왼쪽 아래에 표시)과 버스트 모드 특징 프레임(Burst-Mode Feature Frame)(650)(도 6d의 오른쪽 아래에 표시)이 있다. 낮은 레벨에서, 프레이밍 구조(642)는 활성 상태 또는 비활성 상태에 있을 수도 있는 레이더 프레임(RF)(652)의 시퀀스를 포함한다.
레이더 시스템(104)은 능동 레이더 프레임(RF)(652) 동안 레이더 신호를 송수신한다. 일부 상황에서 레이더 프레임(652)은 검색 및 추적, 클러터 맵 생성, 사용자 위치 결정 등과 같은 기본 레이더 작동을 위해 개별적으로 분석된다. 각각의 활성 레이더 프레임(652) 동안 수집된 레이더 데이터는 레이더 프레임(652)이 완료된 후 버퍼에 저장되거나 도 6a의 프로세서(608)에 직접 제공될 수 있다.
레이더 시스템(104)은 하나 이상의 제스처와 관련된 특정 특징을 식별하기 위해 다수의 레이더 프레임(652)에 걸쳐(예를 들어, 능동 특징 프레임(646)과 관련된 레이더 프레임(652)의 그룹에 걸쳐) 레이더 데이터를 분석한다. 특징의 예시적인 유형은 특정 유형의 모션, 특정 부속지(예를 들어, 손 또는 개별 손가락)와 관련된 모션, 및 제스처의 다른 부분과 관련된 특징을 포함한다. 능동 제스처 프레임(644) 동안 사용자(120)에 의해 수행된 제스처를 인식하기 위해, 레이더 시스템(104)은 하나 이상의 능동 특징 프레임(646)과 연관된 레이더 데이터를 분석한다.
제스처의 유형에 따라, 제스처 프레임(644)의 지속기간은 밀리초 또는 초 정도(예를 들어, 대략 10ms와 10초 사이)일 수 있다. 능동 제스처 프레임(644)이 발생한 후, 레이더 시스템(104)은 비활성 제스처 프레임(644-3 및 644-4)에 의해 도시된 바와 같이 비활성이다. 비활성 제스처 프레임(644)의 지속기간은 수십 밀리초 이상(예를 들어, 50ms 초과) 정도일 수 있는 딥 슬립 시간(654)을 특징으로 한다. 예시적인 구현에서, 레이더 시스템(104)은 딥 슬립 시간(Deep Sleep Time)(654) 동안 전력을 보존하기 위해 트랜시버(606) 내의 모든 컴포넌트를 턴오프할 수 있다.
도시된 프레이밍 구조(642)에서, 각각의 제스처 프레임(644)은 K개의 특징 프레임(646)을 포함하고, 여기서 K는 양의 정수이다. 제스처 프레임(644)이 비활성 상태에 있으면 해당 제스처 프레임(644)과 관련된 모든 특징 프레임(646)도 비활성 상태에 있다. 대조적으로, 활성 제스처 프레임(644)은 J개의 활성 특징 프레임(646) 및 K-J개의 비활성 특징 프레임(646)을 포함하며, 여기서 J는 K보다 작거나 같은 양의 정수이다. 특징 프레임(646)의 양은 제스처의 복잡도에 기초할 수 있고 수개 내지 수백 개의 특징 프레임(646)을 포함할 수 있다(예를 들어, K는 2, 10, 30, 60, 또는 100일 수 있음). 각각의 특징 프레임(646)의 지속기간은 밀리초 정도(예를 들어, 대략 1ms와 50ms 사이)일 수 있다.
전력을 절약하기 위해 활성 특징 프레임(활성 FF)(646-1 ~ 646-J)은 비활성 특징 프레임(비활성 FF)(646-(J+1) ~ 646-K)보다 먼저 발생한다. 비활성 특징 프레임(646-(J+1) 내지 646-K)의 지속 시간은 슬립 시간(656)으로 특징지어진다. 이런 식으로, 비활성 특징 프레임 646-(J+1) ~ 646-K는 레이더 시스템(104)이 비활성 특징 프레임(646-(J+1) ~ 646-K)를 활성 특징 프레임(646-1 ~ 646J)과 인터리브하는 다른 기술에 비해 더 긴 기간 동안 전력이 꺼진 상태로 유지된다. 일반적으로 말해서, 슬립 시간(656)의 지속시간을 증가시키면 레이더 시스템(104)이 더 긴 시작 시간을 필요로 하는 트랜시버(606) 내의 컴포넌트를 턴오프할 수 있다.
각각의 특징 프레임(646)은 L 레이더 프레임(652)을 포함하고, 여기서 L은 J 또는 K와 같거나 같지 않을 수 있는 양의 정수이다. 일부 구현들에서, 레이더 프레임들(652)의 양은 상이한 특징 프레임들(646)에 걸쳐 변할 수 있고 몇 개의 프레임들 또는 수백 개의 프레임들을 포함할 수 있다(예: L은 5, 15, 30, 100 또는 500일 수 있음). 레이더 프레임(652)의 지속기간은 수십 또는 수천 마이크로초 정도(예를 들어, 대략 30㎲와 5ms 사이)일 수 있다. 특정 특징 프레임(646) 내의 레이더 프레임(652)은 특정 특징 및 제스처의 검출을 용이하게 하는 미리 결정된 검출 범위, 범위 해상도, 또는 도플러 감도에 대해 맞춤화될 수 있다. 예를 들어, 레이더 프레임(652)은 특정 유형의 변조, 대역폭, 주파수, 송신 전력, 또는 타이밍을 이용할 수 있다. 특징 프레임(646)이 비활성 상태에 있으면 해당 특징 프레임(646)과 관련된 모든 레이더 프레임(652)도 비활성 상태에 있다.
펄스 모드 특징 프레임(648) 및 버스트 모드 특징 프레임(650)은 레이더 프레임(652)의 상이한 시퀀스를 포함한다. 일반적으로 말하면, 활성 펄스 모드 특징 프레임(648) 내의 레이더 프레임(652)은 미리 결정된 양만큼 시간적으로 분리된 펄스를 전송한다. 대조적으로, 능동 버스트 모드 특징 프레임(650) 내의 레이더 프레임(652)은 버스트 모드 특징 프레임(650)의 일부에 걸쳐 연속적으로 펄스를 전송한다(예를 들어, 펄스는 미리 결정된 양의 시간만큼 분리되지 않는다).
각각의 활성 펄스 모드 특징 프레임(648) 내에서, 레이더 프레임(652)의 시퀀스는 활성 상태와 비활성 상태 사이에서 교번한다. 각각의 능동 레이더 프레임(652)은 삼각형으로 예시된 레이더 신호(예를 들어, 처프(chirp))를 전송한다. 레이더 신호의 지속 시간은 활성 시간(658)을 특징으로 한다. 활성 시간(658) 동안, 트랜시버(606) 내의 컴포넌트는 전력이 켜진다. 활성 레이더 프레임(652) 내의 남은 시간과 다음 비활성 레이더 프레임(652)의 지속 시간을 포함하는 짧은 유휴 시간(short-idle time)(660) 동안, 레이더 시스템(104)은 짧은 유휴 시간(660)의 지속 시간 내에서 시작 시간(start-up time)을 갖는 트랜시버(606) 내의 컴포넌트를 턴오프함으로써 전력을 보존한다.
능동 버스트 모드 특징 프레임(650)은 M개의 능동 레이더 프레임(652) 및 L-M개의 비활성 레이더 프레임(652)을 포함하며, 여기서 M은 L보다 작거나 같은 양의 정수이다. 전력을 보존하기 위해 활성 레이더 프레임(RF)(652-1~652-M)은 비활성 레이더 프레임(652-(M+1)~652-L)보다 먼저 발생한다. 비활성 레이더 프레임(652-(M+1) ~ 652-L)의 지속 시간은 긴 유휴 시간(Long-Idle Time)(662)을 특징으로 한다. 펄스 모드 특징 프레임(648) 동안 발생하는 짧은 유휴 시간(660)에 비해 더 긴 기간 동안 전력이 꺼진 상태에 있을 수 있다. 추가적으로, 전력 관리 모듈(620)은 단기 유휴 시간(660)보다 길고 장기 유휴 시간(662)보다 짧은 시작 시간을 갖는 트랜시버(606) 내의 추가 컴포넌트를 끌(턴오프) 수 있다.
능동 버스트 모드 특징 프레임(650) 내의 각각의 능동 레이더 프레임(652)은 레이더 신호의 일부를 전송한다. 이 예에서, 능동 레이더 프레임(652-1 내지 652M)은 주파수가 증가하는 레이더 신호의 일부와 주파수가 감소하는 레이더 신호의 일부를 전송하는 것 사이에서 교번(alternate)한다.
프레이밍 구조(642)는 각 프레임 유형 내에서 조정 가능한 듀티 사이클을 통해 전력이 보존될 수 있게 한다. 제1 듀티 사이클(664)은 특징 프레임(646(K))의 총량에 대한 활성 특징 프레임(646(J))의 양에 기초한다. 제2 듀티 사이클(665)은 레이더 프레임(652)(L)의 총량에 대한 능동 레이더 프레임(652)의 양(예를 들어, L/2 또는 M)에 기초한다. 제3 듀티 사이클(668)은 레이더 프레임(652)의 지속기간에 대한 레이더 신호의 지속기간에 기초한다.
대략 2mW의 전력을 소비하고 대략 1Hz와 4Hz 사이의 제스처 프레임 업데이트 레이트(634)를 갖는 전력 상태(638-1)에 대한 예시적인 프레이밍 구조(642)를 고려한다. 이 예에서, 프레이밍 구조(642)는 약 250ms와 1초 사이의 지속기간을 갖는 제스처 프레임(644)을 포함한다. 제스처 프레임(644)은 31개의 펄스 모드 특징 프레임(648)(예를 들어, L은 31과 동일)을 포함한다. 31개의 펄스 모드 특징 프레임(648) 중 하나는 활성 상태에 있다. 이는 듀티 사이클(664)이 대략 3.2%와 같게 되는 결과를 낳는다. 각각의 펄스 모드 특징 프레임(648)의 지속기간은 대략 8ms와 32ms 사이이다. 각 펄스 모드 특징 프레임(648)은 8개의 레이더 프레임(652)으로 구성된다. 활성 펄스 모드 특징 프레임(648) 내에서 8개의 레이더 프레임(652) 모두가 활성 상태에 있다. 이는 듀티 사이클(665)이 100%와 동일하게 되는 결과를 가져온다. 각각의 레이더 프레임(652)의 지속기간은 대략 1ms와 4ms 사이이다. 각각의 능동 레이더 프레임(652) 내의 활성 시간(658)은 대략 32㎲와 128㎲ 사이이다. 이와 같이, 결과적인 듀티 사이클(668)은 대략 3.2%이다. 이 예시적인 프레임 구조(642)는 우수한 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 저전력 상태(예: 저전력 상태 504-3)에서 핸드헬드 스마트폰의 애플리케이션 컨텍스트에서 우수한 전력 효율성 결과를 산출하는 동시에 우수한 제스처 인식 및 존재 감지 측면에서 나타난다.
프레이밍 구조(642)에 기초하여, 전력 관리 모듈(620)은 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이 비활성 시간 기간에 기초하여, 전력 관리 모듈(620)은 아래에서 추가로 설명되는 바와 같이 레이더 시스템(104)의 동작 상태를 조정하고 트랜시버(606)의 하나 이상의 컴포넌트를 턴오프함으로써 전력을 보존할 수 있다.
언급된 바와 같이, 전력 관리 모듈(620)은 비활성 기간 동안 트랜시버(606) 내의 하나 이상의 컴포넌트(예: 전압 제어 발진기, 멀티플렉서, 아날로그-디지털 변환기, 위상 고정 루프 또는 수정 발진기)를 턴오프함으로써 전력을 보존할 수 있다. 이러한 비활성 시간 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송하거나 수신하지 않는 경우 발생하며, 이는 마이크로초(μs), 밀리초(ms) 또는 초(s) 정도일 수 있다. 또한, 전력 관리 모듈(620)은 신호 증폭기에 의해 제공되는 증폭량을 조절함으로써 레이더 신호의 송신 전력을 수정할 수 있다. 추가적으로, 전력 관리 모듈(620)은 전력을 보존하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 컴포넌트의 사용을 제어할 수 있다. 프로세서(608)가 저전력 프로세서 및 고전력 프로세서를 포함하는 경우(예: 서로 다른 양의 메모리와 연산 능력을 가진 프로세서), 예를 들어, 전력 관리 모듈(620)은 고충실도 또는 정확한 레이더 데이터가 레이더 관리자(106)에 의해 요청되는 상황에 대해(예를 들어, 레이더 데이터를 사용하여 사용자를 인증하기 위한 인증 시스템(114)의 고전력 상태(504-1)를 구현하기 위해) 고전력 프로세서와 저수준 분석(예: 움직임 감지, 사용자의 위치 파악, 환경 모니터링)을 위한 저전력 프로세서 활용 사이에서 전환할 수 있다.
위에서 설명한 내부 절전 기술 외에도, 전력 관리 모듈(620)은 또한 단독으로 또는 인증 시스템(114)의 명령에 따라 UE(102) 내에 있는 다른 외부 컴포넌트 또는 센서를 활성화 또는 비활성화함으로써 UE(102) 내의 전력을 보존할 수 있다. 이러한 외부 컴포넌트에는 스피커, 카메라 센서, 위성 위치 확인 시스템, 무선 통신 송수신기, 디스플레이, 자이로스코프 또는 가속도계가 포함될 수 있다. 레이더 시스템(104)은 적은 양의 전력을 사용하여 환경을 모니터링할 수 있기 때문에, 전력 관리 모듈(620)은 사용자가 있는 위치 또는 사용자가 무엇을 하고 있는지에 기초하여 이러한 외부 컴포넌트를 적절하게 켜거나 끌 수 있다. 이러한 방식으로, UE(102)는 자동 차단 타이머를 사용하거나 사용자가 UE(102)를 물리적으로 만지거나 구두로 제어하지 않고도 사용자에게 원활하게 응답하고 전력을 절약할 수 있다.
도 8은 UE(102) 내의 레이더 시스템(104)의 예시적인 구현(800)의 추가적인 세부사항을 도시한다. 예(800)에서, 안테나 어레이(604)는 유리 커버 또는 외부 케이스와 같은 UE(102)의 외부 하우징 아래에 위치된다. 재료 특성에 따라 외부 하우징은 레이더 시스템(104)에 의해 송수신되는 레이더 신호를 감쇠 또는 왜곡하는 감쇠기(802)의 역할을 할 수 있다. 감쇠기(802)는 상이한 유형의 유리 또는 플라스틱을 포함할 수 있고, 이들 중 일부는 디스플레이 스크린, 외부 하우징, 또는 UE(102)의 다른 컴포넌트 내에서 발견될 수 있고 대략 4와 10 사이의 유전 상수(예를 들어, 상대 유전율)를 가질 수 있다. 따라서, 감쇠기(802)는 레이더 신호(806)에 대해 불투명하거나 반투명하고 송신 또는 수신된 레이더 신호(806)의 일부가 (반사된 부분(804)에 의해 도시된 바와 같이) 반사되게 할 수 있다. 기존 레이더의 경우, 감쇠기(802)는 모니터링될 수 있는 유효 범위를 감소시키거나, 작은 타겟이 탐지되는 것을 방지하거나, 전체 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 송신 전력이 제한되어 있고 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(806)의 하나 이상의 감쇠 의존 특성(예를 들어, 주파수 서브스펙트럼(808) 또는 스티어링(조향)(steering) 각도(810)) 또는 감쇠기(802)의 감쇠 의존 특성(예를 들어, 감쇠기(802)와 레이더 시스템(104) 사이의 거리(812) 또는 감쇠기(802)의 두께(814))은 감쇠기(802)의 효과를 완화하도록 조정된다. 이러한 특성 중 일부는 제조 중에 설정되거나 레이더 시스템(104)의 작동 중에 감쇠 완화기(614)에 의해 조정될 수 있다.
감쇠 완화기(614)는 예를 들어 트랜시버(606)가 선택된 주파수 서브-스펙트럼(808) 또는 조향 각도(810)를 사용하여 레이더 신호(806)를 전송하게 하고, 플랫폼으로 하여금 레이더 시스템(104)을 감쇠기(802)로부터 더 가깝게 또는 더 멀리 이동시켜 거리(812)를 변경하게 하거나, 감쇠기(802)의 두께(814)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자를 촉구한다.
감쇠기(802)의 미리 결정된 특성에 기초하여 감쇠기(614)에 의해 또는 감쇠기(802)의 하나 이상의 특성(예를 들어, UE(102)의 컴퓨터 판독가능 매체(404) 또는 시스템 매체(610) 내에 저장된 특성)을 측정하기 위해 레이더 신호(806)의 리턴(반환)(returns)을 처리함으로써 적절한 조정이 이루어질 수 있다. 감쇠 종속 특성 중 일부가 고정되거나 제한되더라도 감쇠 완화기(614)는 이러한 제한을 고려하여 각 파라미터의 균형을 맞추고 목표 레이더 성능을 달성할 수 있다. 결과적으로, 감쇠 완화기(614)는 레이더 시스템(104)이 감쇠기(802)의 반대편에 위치한 사용자를 탐지하고 추적하기 위해 향상된 정확도와 더 큰 유효 범위를 실현할 수 있게 한다. 이러한 기술은 레이더 시스템(104)의 전력 소비를 증가시키는 송신 전력 증가 또는 감쇠기(802)의 재료 특성 변경에 대한 대안을 제공하며, 이는 장치가 생산되면 어렵고 비용이 많이 들 수 있다.
도 9는 레이더 시스템(104)에 의해 구현되는 예시적인 방식(900)을 도시한다. 방식(900)의 일부는 프로세서(608), 컴퓨터 프로세서(402), 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 방식(900)은 다양한 유형의 전자 장치 및 레이더 기반 애플리케이션(예를 들어, 레이더 관리자(106))을 지원하도록 맞춤화될 수 있으며, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 타겟 각도 정확도를 달성할 수 있게 한다.
송수신기(606)는 수신된 레이더 신호에 대한 수신 안테나 소자(702)의 개별 응답에 기초하여 원시 데이터(Raw Data)(902)를 생성한다. 수신된 레이더 신호는 각도 모호성 해상도을 용이하게 하기 위해 각도 추정기(618)에 의해 선택된 하나 이상의 주파수 서브-스펙트럼(904)과 연관될 수 있다. 예를 들어, 주파수 서브-스펙트럼(904)은 사이드로브(sidelobe)의 양을 감소시키거나 사이드로브의 진폭을 감소시키도록 선택될 수 있다(예: 진폭을 0.5dB, 1dB 이상 감소). 주파수 서브-스펙트럼의 양은 레이더 시스템(104)의 타겟 각도 정확도 또는 계산 제한에 기초하여 결정될 수 있다.
원시(raw) 데이터(902)는 일정 기간 동안의 디지털 정보(예를 들어, 동위상 및 직교 데이터), 상이한 파수(wavenumbers), 및 수신 안테나 소자(702)와 각각 연관된 다중 채널을 포함한다. FFT(Fast-Fourier Transform)(906)는 원시 데이터(902)에 대해 수행되어 전처리된 데이터(908)를 생성한다. 전처리된 데이터(908)는 기간에 걸쳐, 상이한 범위(예를 들어, 범위 빈(range bin))에 대해, 및 다중 채널에 대한 디지털 정보를 포함한다. 도플러 필터링 프로세스(910)는 전처리된 데이터(908)에 대해 수행되어 범위-도플러 데이터(912)를 생성한다. 도플러 필터링 프로세스(910)는 다중 범위 빈, 다중 도플러 주파수 및 다중 채널에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔포머(616)는 범위 도플러 데이터(912)에 기초하여 빔 형성(Beamforming) 데이터(914)를 생성한다. 빔 형성 데이터(914)는 방위각 및/또는 고도 세트에 대한 디지털 정보를 포함하며, 이는 디지털 빔포머(616)에 의해 다른 조향 각도 또는 빔이 형성되는 시야를 나타낸다. 도시되지는 않았지만, 디지털 빔형성기(616)는 대안적으로 전처리된 데이터(908)에 기초하여 빔형성 데이터(914)를 생성할 수 있고 도플러 필터링 프로세스(910)는 빔형성 데이터(914)에 기초하여 범위-도플러 데이터(912)를 생성할 수 있다. 계산량을 줄이기 위해, 디지털 빔형성기(616)는 관심 범위, 시간, 또는 도플러 주파수 간격에 기초하여 범위-도플러 데이터(912) 또는 전처리된 데이터(908)의 일부를 처리할 수 있다.
디지털 빔포머(빔형성기)(616)는 싱글룩 빔포머(single-look beamformer)(916), 멀티룩 간섭계(multi-look interferometer)(918) 또는 멀티룩 빔포머(920)를 이용하여 구현될 수 있다. 일반적으로, 싱글룩 빔포머(916)는 결정론적 객체(예를 들어, 단일 위상 중심을 갖는 포인트 소스 타겟)에 사용될 수 있다. 비결정적 타겟의 경우(예: 다중 위상 중심이 있는 대상(타겟)), 멀티룩 간섭계(Interferometer)(918) 또는 멀티룩 빔형성기(920)는 싱글룩 빔포머(916)에 대한 정확도를 개선하는 데 사용된다. 인간은 비결정적 타겟의 예이며 924-1 및 924-2에 도시된 바와 같이 상이한 종횡각에 기초하여 변할 수 있는 다중 위상 중심(multiple phase center)(922)을 갖는다. 다중 위상 중심(922)에 의해 생성된 보강 또는 상쇄 간섭의 변화는 기존 레이더 시스템이 각도 위치를 정확하게 결정하는 것을 어렵게 만들 수 있다. 그러나, 멀티룩 간섭계(918) 또는 멀티룩 빔포머(920)는 빔포밍 데이터(914)의 정확도를 높이기 위해 코히어런트 평균(coherently average)을 수행한다. 멀티룩 간섭계(918)는 각도 정보를 정확하게 결정하기 위해 사용될 수 있는 위상 정보를 생성하기 위해 2개의 채널을 일관성 있게 평균화한다. 한편, 멀티룩 빔포머(920)는 푸리에(Fourier), 카폰(Capon), MUSIC(multiple signal classification) 또는 MVDR(minimum variance distortion less response)과 같은 선형 또는 비선형 빔포머를 사용하여 2개 이상의 채널을 코히어런트 평균화할 수 있다. 멀티룩 빔포머(920) 또는 멀티룩 간섭계(918)를 통해 제공되는 증가된 정확도는 레이더 시스템(104)이 작은 제스처를 인식하거나 사용자의 여러 부분(예를 들어, 얼굴 특징)을 구별할 수 있게 한다.
각도 추정기(618)는 빔형성 데이터(914)를 분석하여 하나 이상의 각도 위치를 추정한다. 각도 추정기(618)는 신호 처리 기술, 패턴 매칭 기술, 또는 기계 학습을 이용할 수 있다. 각도 추정기(618)는 또한 레이더 시스템(104)의 설계 또는 레이더 시스템(104)이 모니터링하는 시야로부터 야기될 수 있는 각도 모호성을 해결한다. 예시적인 각도 모호성이 진폭 플롯(Amplitude Plot)(926)(예를 들어, 진폭 응답) 내에 도시되어 있다.
진폭 플롯(926)은 타겟의 상이한 각도 위치 및 상이한 조향 각도(810)에 대해 발생할 수 있는 진폭 차이를 도시한다. 제1 각도 위치(930-1)에 위치된 타겟에 대한 제1 진폭 응답(928-1)(실선으로 도시됨)이 도시된다. 유사하게, 제2 진폭 응답(928-2)(점선으로 예시됨)은 제2 각도 위치(930-2)에 위치된 타겟에 대해 도시된다. 이 예에서 차이는 -180도에서 180도 사이의 각도에서 고려된다.
진폭 플롯(926)에 도시된 바와 같이, 2개의 각도 위치(930-1 및 930-2)에 대해 모호한 영역이 존재한다. 제1 진폭 응답(928-1)은 제1 각도 위치(930-1)에서 가장 높은 피크를 갖고 제2 각도 위치(930-2)에서 더 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 위치에 해당하지만, 더 작은 피크는 타겟이 제1 각도 위치(930-1)에 있는지 또는 제2 각도 위치(930-2)에 있는지를 기존의 레이더가 자신 있게 결정할 수 없는 일부 임계값 내에 있기 때문에 제1 각도 위치(930-1)가 모호하게 만든다. 대조적으로, 제2 진폭 응답(928-2)은 제2 각도 위치(930-2)에서 더 작은 피크를 갖고 제1 각도 위치(930-1)에서 더 높은 피크를 갖는다. 이 경우 작은 피크가 타겟의 위치에 해당한다.
종래의 레이더는 각도 위치를 결정하기 위해 가장 높은 피크 진폭을 사용하는 것으로 제한될 수 있지만, 각도 추정기(618)는 대신 진폭 응답(928-1 및 928-2)의 형태에서 미묘한(subtle) 차이를 분석한다. 형상(모양)의 특성은 예를 들어 롤오프(roll-offs), 피크 또는 널 폭, 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드로브의 모양, 진폭 응답(928-1 또는 928-2) 내의 대칭(symmetry) 또는 진폭 응답(928-1 또는 928-2) 내의 대칭의 결여(lack of symmetry)를 포함할 수 있다. 유사한 형상 특성이 위상 응답에서 분석될 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서 각도 추정기(618)는 고유한 각도 서명 또는 패턴을 각도 위치에 매핑한다.
각도 추정기(618)는 UE(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 레이더 관리자(106)에 대한 타겟 각도 해상도에 따라 선택될 수 있는 알고리즘 또는 도구 세트를 포함할 수 있다. 일부 구현들에서, 각도 추정기(618)는 신경망(932), 컨볼루션 신경망(CNN: convolutional neural network)(934), 또는 장단기 기억(LSTM: long short-term memory) 네트워크(936)를 포함할 수 있다. 신경망(932)은 다양한 깊이 또는 수량의 은닉층(예: 3개의 은닉층, 5개의 은닉층 또는 10개의 은닉층)을 가질 수 있고 또한 다른 수량의 연결을 포함할 수 있다(예를 들어, 신경망(932)은 완전히 연결된 신경망 또는 부분적으로 연결된 신경망을 포함할 수 있음). 일부 경우에, CNN(934)은 각도 추정기(618)의 계산 속도를 증가시키기 위해 사용될 수 있다. LSTM 네트워크(936)는 각도 추정기(618)가 타겟을 추적하는 것을 가능하게 하기 위해 사용될 수 있다. 기계 학습 기술을 사용하여, 각도 추정기(618)는 진폭 응답(928-1 또는 928-2)의 형상을 분석하고 각도 확률 데이터(938)를 생성하기 위해 비선형 함수를 사용하고, 이는 사용자 또는 사용자의 일부가 각도 빈 내에 있을 가능성을 나타낸다. 각도 추정기(618)는 타겟이 UE(102)의 왼쪽 또는 오른쪽에 있을 확률을 제공하기 위해 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 각도 확률 데이터(938)를 제공하거나 수천 개의 각도 빈에 대해(예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(938)를 제공하기 위해) 각도 확률 데이터(938)를 제공할 수 있다.
각도 확률 데이터(938)에 기초하여, 추적기 모듈(940)은 타겟의 각도 위치를 식별하는 각도 위치 데이터(942)를 생성한다. 추적기 모듈(940)은 각도 확률 데이터(938)에서 가장 높은 확률을 갖는 각도 빈 또는 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(940)은 또한 레이더 시스템(104)이 타겟을 확실하게 구별하거나 식별할 수 있게 하기 위해 하나 이상의 움직이는 타겟을 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 비롯한 다른 데이터를 사용하여 각도 위치를 결정할 수도 있다. 일부 경우에, 추적기 모듈(940)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT: multiple hypothesis tracker) 등을 포함할 수 있다.
양자화기 모듈(944)은 각도 위치 데이터(942)를 획득하고 데이터를 양자화하여 양자화된 각도 위치 데이터(946)를 생성한다. 양자화는 레이더 관리자(106)에 대한 타겟 각도 해상도(분해능)에 기초하여 수행될 수 있다. 일부 상황에서, 양자화된 각도 위치 데이터(946)가 타겟이 UE(102)의 오른쪽에 있는지 왼쪽에 있는지를 나타내거나 타겟이 위치하는 90도 사분면을 식별하도록 더 적은 양자화 레벨이 사용될 수 있다. 이는 사용자 근접 감지와 같은 일부 레이더 기반 애플리케이션에 충분할 수 있다. 다른 상황에서, 양자화된 각도 위치 데이터(946)가 도(degree), 1도, 5도 등의 분수의 정확도 내에서 타겟의 각도 위치를 나타내도록 더 많은 수의 양자화 레벨이 사용될 수 있다. 이 해상도는 제스처 인식과 같은 고해상도 레이더 기반 애플리케이션에, 또는 여기에 설명된 어텐션(attention) 상태 또는 상호 작용 상태의 구현에 사용될 수 있다. 일부 구현에서, 디지털 빔형성기(빔포머)(616), 각도 추정기(618), 추적기 모듈(940), 및 양자화기 모듈(944)은 단일 기계 학습 모듈에서 함께 구현된다.
설명된 구현의 장점 중에는 관여, 관여해제 또는 관여를 유지하려는 사용자의 의도를 결정하기 위해 레이더가 사용되는 구현이 포함되고, 전자 장치를 사용하거나 전자 장치와 상호 작용하려는 사용자 의도의 표시로 분류되는 사용자 동작을 감지하기 위해 레이더가 사용되는 구현이 더 포함되며, 대안으로 대부분의 최신 스마트폰과 함께 제공되는 온-디바이스 카메라를 사용하여 달성할 수 있는 두 가지 중 하나는 레이더 시스템의 전력 사용량이 카메라 시스템의 전력 사용량보다 훨씬 적은 반면 결과의 적절성은 종종 카메라 시스템보다 레이더 시스템이 더 좋다. 예를 들어, 위에서 설명된 레이더 시스템(104)을 사용하여, 원하는 사용자 의도 감지는 결정을 내리기 위해 레이더 벡터 데이터를 처리하기 위한 처리 능력을 포함하여 한 자리 밀리와트에서 수십 밀리와트(예: 10mW, 20mW, 30mW 또는 40mW)에 이르는 평균 전력에서 달성될 수 있다. 이러한 낮은 수준의 전력에서 레이더 시스템(104)이 항상 활성화되도록 하는 것은 쉽게 수용될 수 있다. 이와 같이, 예를 들어, 스마트폰 레이더 시스템(104)이 항상 활성화된 상태에 있는 경우, 현재 설명된 원하는 쾌적하고 원활한 경험은 여전히 스마트폰과 함께 방 건너편에 앉아 있는 사용자에게 여러 시간 동안 제공될 수 있다.
대조적으로, 오늘날 대부분의 스마트폰에 제공되는 광학 카메라는 일반적으로 수백 밀리와트의 전력(예: 40mW, 즉 400mW 이상)에서 작동한다. 이러한 전력 속도에서 광학 카메라는 오늘날 대부분의 스마트폰의 배터리 수명을 크게 줄여 광학 카메라를 항상 켜진 상태로 유지하는 것이 금지는 아니지만 매우 비실용적이기 때문에 불리하다. 레이더 시스템(104)의 추가적인 이점은 시야가 상당히 클 수 있고, 사용자가 테이블 위에 평평하게 엎드려 얼굴이 위를 향하도록 하여도 임의의 방향에서 걸어오는 것을 충분히 쉽게 감지할 수 있다는 것이며(레이더 칩이 셀카 카메라와 동일한 일반적인 방향으로 바깥쪽을 향하고 있는 많은 일반적인 구현의 경우), 게다가 도플러 덕분에 처리 능력은 다양한 방향에서 움직이는 물체의 비교적 미세한 움직임까지도 감지하는 데 매우 효과적이다(특히 60GHz에 가까운 작동 주파수에서).
추가적으로, 레이더 시스템(104)은 카메라 시스템의 성능이 감소되거나 제한되는 환경에서 동작할 수 있다. 예를 들어, 저조도 환경에서 카메라 시스템은 모양이나 움직임을 감지하는 능력이 떨어질 수 있다. 대조적으로, 레이더 시스템(104)은 전체 조명에서와 같이 더 낮은 조명에서도 잘 작동한다. 레이더 시스템(104)은 또한 일부 장애물을 통해 존재 및 제스처를 감지할 수 있다. 예를 들어, 스마트폰이 재킷이나 바지 주머니에 있으면 카메라 시스템은 사용자나 제스처를 감지할 수 없다. 그러나 레이더 시스템(104)은 카메라 시스템을 차단하는 패브릭을 통해서도 그 필드에서 물체를 여전히 감지할 수 있다. 스마트폰의 온보드 비디오 카메라 시스템보다 레이더 시스템(104)을 사용하는 것의 또 다른 이점은 프라이버시이다. 사용자는 여기에 설명된 유쾌하고 끊김 없는 경험의 이점을 가질 수 있는 동시에 그러한 목적을 위해 비디오를 찍는 비디오 카메라가 있는지 걱정할 필요가 없기 때문이다.
도 1, 2, 4, 6-9의 엔티티는 더 분할되고, 결합되고, 다른 센서 또는 컴포넌트 등과 함께 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 IMU(108)의 상이한 구성을 갖는 UE(102)의 상이한 구현은 IMU 및 레이더를 통한 인증 관리를 구현하는데 사용될 수 있다. 도 1의 예시적인 운영 환경(100) 및 도 1 및 도 2-9의 상세한 예시는 설명된 기술을 사용할 수 있는 많은 가능한 환경 및 장치의 일부를 도시한다.
예시 방법
이 섹션은 개별적으로 또는 전체 또는 부분적으로 함께 작동할 수 있는 예시적인 방법을 설명한다. 다양한 예시 방법이 설명되어 있으며, 각각은 읽기 쉽도록 하위 섹션에 설명되어 있다. 이 하위 섹션 제목은 이러한 각 방법의 상호 운용성을 제한하기 위한 것이 아니다.
인증 관리
도 10은 IMU 및 레이더를 통해 인증을 관리하기 위한 예시적인 방법(1000)을 도시하고 사용자 장비에 대한 전력 상태를 관리하는 일 예시이다. 방법(1000)은 수행되는 동작을 지정하는 블록 세트로 도시되지만, 반드시 각각의 블록에 의한 동작을 수행하기 위해 도시된 순서 또는 조합으로 제한되는 것은 아니다. 또한, 하나 이상의 작업이 반복, 결합, 재구성 또는 연결되어 광범위한 추가 및/또는 대체 방법(예: 방법 1200 및 1400)을 제공할 수 있다. 다음 설명의 일부에서, 도 1의 예시적인 운영 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 장치에서 작동하는 하나의 엔터티 또는 여러 엔터티의 성능으로 제한되지 않는다.
1002에서, 사용자의 관여 의도(intent to engage)는 레이더 데이터에 기초하여 사용자 장비에 의해 결정되며, 사용자 장비에 관여할 의사가 있음을 표시하는 관여 의도가 결정된다. 위에서 언급한 바와 같이, 사용자(120)가 UE(102)를 향해 손을 뻗고 있다고 결정하거나, UE(102)를 바라보거나, UE(102)를 향하여 몸을 기울이거나 방향을 정함으로써 관여 의도가 표시될 수 있다.
1004에서, 레이더 데이터를 통한 관여 의도의 결정 대신에 또는 추가로, 관성 데이터에 기초하여 사용자 장비의 움직임이 결정된다. 이 움직임은 사용자(120)가 UE(102)를 집어 드는 것, UE(102)를 터치하는 것, 및 위에서 언급된 바와 같은 다른 움직임을 나타낼 수 있다.
1006에서, 관여 의도의 결정 및 일부 경우에 사용자 장비의 움직임의 결정에 응답하여 인증 시스템의 전력 소비 컴포넌트의 전력 상태가 변경된다. 전력 소비 컴포넌트의 전력 상태는 제1 전력 상태에서 제2 전력 상태로 변경되고, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비한다. 이 변경은 레이더 데이터를 사용하여 결정된 관여 의도 또는 관성 데이터를 통해 결정된 움직임을 통해서만 결정될 수 있다. 또한, 전력 소비 컴포넌트의 전력 상태는 이동 결정에 기초하여 더 상승되거나 다른 컴포넌트에 전력이 공급될 수 있다. 위에서 언급한 바와 같이, 이러한 움직임 결정은 사용자(120)의 관여 의도를 확인하거나, 관여 의도를 제공하거나, 그렇지 않으면 인증 시스템에 전력, 리소스 등을 추가하려는 결정에 속도 및/또는 견고성(robustness)을 추가할 수 있다. 일부 경우에는 사용자가 관여할 의향이 없다고 결정된 경우에도 인증 시스템의 컴포넌트에 전력이 공급된 상태로 유지된다는 점에 유의한다. 그러한 경우, 기술은 결정된 관여 의도에 응답하여 인증 프로세스를 수행하는 역할을 한다. 이러한 경우 해당 프로세스에 대한 전력이 절약되지 않더라도 대기 시간이 줄어든다. 그러나 이 기술은 인증 시스템과 관련되지 않은 리소스를 사용하지 않고 다른 방식으로 전력을 절약할 수 있다.
인증 시스템의 전력 소비 컴포넌트가 변경된 전력 상태는 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있도록 하기에 충분하거나 충분하지 않을 수 있다. 일부 경우에 전력 소비 컴포넌트의 제2 전력 상태는 고전력 상태(504-1)가 아니다. 그러한 경우에, 제2 전력 상태는 위에서 언급된 바와 같이 중간 전력 상태(504-2)이다. 이 중간 전력 상태(504-2)는 일부 경우에 전력을 완전히 켜지 않고도 인증을 위해 센서 데이터를 제공할 수 있는 중간 전력 상태를 포함하는 카메라와 같은 전력 소비 컴포넌트의 성능에 충분하다(예: 어두운 곳이 아닌 밝은 곳에서 사용자의 이미지를 캡처하는 등), 또 다른 예는 디스플레이의 광도를 최대 전력으로 공급하지 않고 비밀번호에 대한 터치 입력을 수락하도록 전력을 공급받을 수 있는 디스플레이(116)이다. 다른 경우는 레이더 시스템(104)을 포함하는데, 레이더 시스템(104)에 대한 사용자 얼굴의 상당히 가까운 범위에서 인증 시스템(114)에 충분히 정확한 얼굴 특징을 제공하기 위해 최대 전력이 필요하지 않다.
경우에 따라 컴포넌트의 전력을 켜는 작업은 컴포넌트를 준비하거나 컴포넌트에 추가 시간을 제공하여 대기 시간을 줄일 수 있는 워밍업 시퀀스와 같은 중간 단계이다. 그러한 경우에, 상태 관리자(112)는 컴포넌트가 인증할 준비가 되기 전에 관여해제 의도가 결정되면, 사용자(120)가 UE(102)를 이동시켜(예, 주머니 안으로) 인증을 방지하는 것과 같이 고전력으로 진행하지 않도록 결정할 수 있다. 일부 경우에, 전력 공급은 1004에 예시된 바와 같이 사용자(120)가 UE(102)를 이동했다는 결정에 응답하여 완전히 전력이 공급되는 중간 단계이며, 따라서 인증 프로세스를 수행하기에 충분한 전력이다. 이 워밍업 시퀀스는 컴포넌트에 중간 전력 상태(504-2)로 전력을 공급한 다음 잠시 후 컴포넌트에 인증 프로세스에 사용하기에 충분한 전력(예: 고전력 상태(504-1))을 공급한다. 이러한 경우 컴포넌트는 워밍업 시퀀스에 이어 워밍업 후 시퀀스에 있는 동안 고전력(또는 거의 근처)이다. 일부 적외선 또는 근적외선(IR, NIR) 센서와 같이 필요하지 않을 때 켜져 있으면 상당한 전력을 소비하지만 전력을 켜는 데 상당한 시간이 필요한 컴포넌트의 경우, 워밍업 시퀀스가 수행되는 중간 전력 상태는 상당한 전력을 절약하거나 눈에 띄고 잠재적으로 사용자 경험에 피해를 줄 수 있는 대기 시간을 줄일 수 있다.
도 1의 인증 시스템(114)의 안면 잠금해제 센서(212), 디스플레이(116)의 터치스크린, 레이더 시스템(104), 및 프로세서(608)(예: 고전력 프로세서 608-2)와 같은 인증 시스템의 예시적인 전력 소비 컴포넌트가 위에서 설명되었다. 인증을 위한 안면 인식 시스템의 많은 잠재적인 전력 소모 컴포넌트에 대한 자세한 내용은 도 2 및 해당 설명을 참조한다.
1008에서, 인증 시스템에 의해 인증 프로세스가 수행된다. 그렇게 함에 있어서, 인증 시스템(114)은 제2 전력 상태 또는 제3의 고전력 상태와 같은 변경된 전력 상태에서 전력 소비 컴포넌트를 사용한다. 인증 프로세스는 사용자를 인증하거나 사용자가 인증되지 않은 것으로 결정하는 데 효과적이며, 이는 UE(102)에 대한 액세스가 허용되지 않아야 함을 나타낸다. 언급된 바와 같이, 인증 프로세스는 안면 인식, 지문 판독, 비밀번호 또는 터치 또는 오디오 인터페이스(예를 들어, 디스플레이(112)의 터치 스크린 데이터 입력 컴포넌트)를 통한 기타 자격 증명 입력을 통할 수 있다. 인증 프로세스는 사용자의 식별 기능 또는 자격 증명을 비교 가능한 기능 또는 자격 증명의 일부 보안 저장과 비교하여 사용자의 신원이 인증된 것으로 결정하고 이에 따라 UE(102)에 대한 액세스가 허용된다. 이는 디스플레이의 터치 스크린을 통해 입력된 6자리 암호를 비교하는 것처럼 간단하거나 더 많은 계산과 시스템 복잡성이 필요할 수 있다. 예를 들어, 전력 소비 컴포넌트로부터 수신된 센서 데이터에 기초하여 얼굴 특징을 결정하고 결정된 얼굴 특징을 얼굴 특징 라이브러리와 비교하는 단계를 포함한다. 필수는 아니지만, 이 얼굴 특징 라이브러리는 UE(102)에 로컬로 저장될 수 있고 인증 시스템(114)을 사용하여 UE(102)에 의해 얼굴 특징 초기화 동안 생성될 수 있다. 더욱이, 이 라이브러리는 UE(102)와 통합된 보안 칩 상의 임베딩 형태와 같이 UE(102)에 안전하게 저장될 수 있다. 이는 사용자(120)의 프라이버시가 유지될 수 있는 한 방법이다.
본 개시 전체에 걸쳐 컴퓨팅 시스템(예를 들어, UE(102), 클라이언트 장치, 서버 장치, 컴퓨터, 또는 다른 유형의 컴퓨팅 시스템)이 동작(1008)에서 방금 언급한 얼굴 특징과 같은 사용자와 관련된 정보(예: 레이더, 관성 및 안면 인식 센서 데이터)를 분석할 수 있는 예가 설명된다. 그러나 컴퓨팅 시스템은 컴퓨팅 시스템이 데이터를 사용하기 위해 컴퓨팅 시스템의 사용자로부터 명시적 허가를 받은 후에만 정보를 사용하도록 구성될 수 있다. 예를 들어, UE(102)가 사용자(120)를 인증하기 위해 안면 특징에 대한 센서 데이터를 분석하는 상황에서, 개별 사용자는 UE(102)의 프로그램 또는 특징이 데이터를 수집하고 사용할 수 있는지 여부를 제어하기 위한 입력을 제공할 기회가 제공될 수 있다. 개별 사용자는 프로그램이 센서 데이터로 수행할 수 있는 작업과 수행할 수 없는 작업을 지속적으로 제어할 수 있다. 또한 수집된 정보는 전송, 저장 또는 기타 방식으로 사용되기 전에 하나 이상의 방식으로 사전 처리되어 개인 식별 정보가 제거될 수 있다. 예를 들어, UE(102)가 센서 데이터를 다른 장치(예: 다른 장치에서 실행되는 모델을 훈련하기 위해)와 공유하기 전에, UE(102)는 데이터에 임베딩된 임의의 사용자 식별 정보 또는 장치 식별 정보가 제거되는 것을 보장하기 위해 센서 데이터를 사전 처리할 수 있다. 따라서, 사용자는 사용자 및 사용자의 장치에 대한 정보가 수집되는지 여부와 이러한 정보가 수집되는 경우 컴퓨팅 장치 및/또는 원격 컴퓨팅 시스템에서 사용되는 방법을 제어할 수 있다.
방법(1000)으로 돌아가서, 1010에서, 대안적으로 또는 추가로, 디스플레이의 전력 상태는 사용자 장비가 이동했거나 이동하고 있다는 결정에 응답하여 변경된다. 이러한 변경은 디스플레이의 터치 입력 수신 기능에 대한 전력을 증가시키거나 단순히 디스플레이의 시각적 표현을 변경하기 위한 것일 수 있다. 한 예는 디스플레이(116)에 광도를 추가하여 사용자가 UE(102)를 터치할 때 UE(102)가 사용자의 의도를 인식하고 따라서 아마도 사용자(120)와 관여할 준비를 하고 있다는 것을 사용자가 볼 수 있도록 하는 것을 포함한다. 유사하게, UE(102)는 1002에서 결정된 관여 의도에 응답하여 그렇게 할 수 있다.
일부 경우에는 인증 프로세스가 일정 기간 동안 수행되거나 성공하지 않고 반복된다(예: 미리 설정된 숫자 또는 기간). 그러한 경우에, 방법(1000)은 인증 프로세스를 다시 수행함으로써 계속하거나 1012에 도시된 바와 같이 1004에서 움직임의 결정에 응답하여 프로세스를 계속할 수 있다. 이 대안은 도 10에서 점선 화살표 중 일부와 함께 표시된다.
1014에서, 1008에서의 사용자의 인증 프로세스(또는 1012에서의 재수행)가 성공한 것에 응답하여, 사용자가 인증되고 UE(102)의 액세스 상태가 변경된다. 이러한 변경은 낮은(low), 노(no), 또는 중간 액세스 상태로부터 높은 액세스 상태로의 UE(102)의 액세스를 증가시킬 수 있고, 이러한 경우에, UE(102)는 "잠금해제(unlocked)"된다. 그러나 이러한 고액세스(high-access) 상태(예를 들어, 도 5의 고액세스 상태(502-1))는 필요하지 않다. 일부 인증 수준은 후속 인증을 위해 액세스, 전력 또는 정보를 예약할 수 있다. 예는 UE(102)의 애플리케이션 및/또는 계정(예: 음악 구매 계좌, 은행 계좌 등)의 전부가 아닌 일부의 사용을 위해 사용자를 인증하는 것, 및 이러한 예약된 액세스 계정 및 애플리케이션에 대한 추가 인증을 요구하는 것을 포함한다. 예를 들어, 고액세스 상태(502-1)에 추가하여, 상태 관리자(112)는 UE(102)가 고정보(high-information) 상태(506-1)에 놓이게 할 수 있다. 정보 상태에 대한 이러한 변경의 예로는, 사용자(120)가 UE(102)에 마지막으로 관여하거나 인증된 곳을 재현하는 노래 또는 비디오의 중간 부분과 같은 웹페이지의 10페이지 기사의 4페이지와 같은 마지막 관여 부분을 포함하여, 마지막으로 관여한(사용된) 애플리케이션 또는 웹 페이지를 표시하는 것이 포함된다. 상태 관리자(112)는 사용자(120)의 인증에 응답하여 이러한 상태를 빠르고 원활하게 변경할 수 있다.
예로서, 방법(1000)을 도 11에 예시된 시나리오(1100)에 적용하는 하나의 구현을 고려한다. 시나리오(1100)는 5개의 부분을 포함하고, 각 부분은 이전 부분에 시간순으로 뒤따른다. 시나리오 부분(1100-1)에 도시된 시나리오(1100)의 제1 부분에서, 사용자(1102)는 스마트폰(1104)을 보거나, 만지거나, 그렇지 않으면 관여하지 않는다. 여기서 스마트폰(1104)은 각각 저접속, 저전력 및 저정보 상태(502-3, 504-3, 506-3)에 있다고 가정한다(예를 들어, 스마트폰(1104)은 "꺼진" 것처럼 보이지만 관여 의도를 결정하기에 충분한 전력을 가지고 있음). 이 시나리오 부분(1100-1)은 도 10의 1002에서 방법의 동작 이전의 상황으로 가정된다. 사용자(1102)가 스마트폰(1104)을 향하여 바라보지만 만지지는 않는 제2 부분이 1100-2에 도시되어 있다. 이 시점에서, 동작(1002)에서 기술은 레이더 데이터에 기초하여 사용자(1102)가 스마트폰(1104)에 관여할 의도를 결정한다. 이러한 관여 의도는 도달 움직임을 사용하지 않고 결정되지만 대신 사용자(1102)가 스마트폰(1104)을 바라보고 몸을 향하게 하는 것에 기반한다. 기술은 동작 1002에서 레이더 관리자(106)를 통해 이러한 결정을 하고, 상태 관리자(112)에 결정을 전달한다. 그 후, 상태 관리자(112)는 동작(1006)에서 인증 시스템(114)의 전력 소비 컴포넌트(안면 잠금해제 센서(212))의 전력 상태를 변경한다. 이는 사용자가 스마트폰(1104)을 향해 손을 뻗거나 집기 전에 잘 수행되어, 인증 시스템(114)이 사용자를 인증할 준비가 되도록 하는 데 있어 지연을 줄인다는 점에 유의한다.
또한, 다음 0.5초에 걸쳐 전력 소비 컴포넌트의 전력이 켜지는 동안 사용자(1102)가 스마트폰(1104)에 더 가까이 이동하여 스마트폰(1104)에 도달한다고 가정한다(손(1106)으로 표시된 범위). 이는 제3 부분(1100-3)에 도시되어 있다. 이 시점에서 인증 시스템(114)은 인증 프로세스(동작 1008)를 수행하지만, 인증 프로세스가 몇 번의 반복 및/또는 일정 기간 동안 성공적이지 않다고 가정한다. 기술은 사용자(1102)를 인증하려는 시도를 중단할 수 있으며, 이에 따라 전력을 절약할 수 있다. 그러나, 여기서, 부분 1100-4에 도시된 바와 같이, 사용자(1102)는 스마트폰(1104)을 터치한다. 이는 동작 1004에서 도 1의 IMU(108)에 의해 감지된 관성 데이터를 통해 스마트폰(1104)의 움직임(이동)으로 결정된다. 이 움직임(이동) 결정은 상태 관리자(112)로 전달된다. 이 움직임에 기초하여, 상태 관리자(112)는 방법(1000)의 동작(1012)에 의해 예시된 바와 같이 인증 시스템(114)이 사용자(1102)를 인증하도록 계속하게 한다. 또한, 동작(1010)에서, 그리고 또한 움직임에 기초하여, 상태 관리자(112)는 스마트폰(1104)의 디스플레이(1108)를 조명한다. 이 조명 또는 디스플레이(1108)의 전력 켜기는 시나리오 부분(1100-2, 1100-3 또는 11004)에서 수행될 수 있지만, 여기에는 스마트폰(1104)의 사용자(1102) 터치를 결정하는 것에 응답하여 표시된다(1110에서 시간 및 알림 정보와 함께 표시). 그렇게 함으로써, 사용자(1102)는 스마트폰(1104)이 그들이 관여할 의도를 알고 있다는 피드백을 받는다.
언급된 바와 같이, 상태 관리자(112)는 인증 시스템(114)이 인증 프로세스를 계속하게 하고, 이러한 계속된 시도를 통해 사용자(1102)를 인증한다. 이는 부분(1100-5)에 나타나 있으며, 결과적으로 스마트폰(1104)은 잠금 해제 아이콘(1112)을 표시하는 디스플레이(1108)와 함께 표시되는 높은 액세스 상태(502-1)와 함께 다른 상태, 높은 액세스(고액세스), 높은 전력(고전력) 및 높은 정보(고정보) 상태(501-1, 504-1 및 506-1)에 각각 있게 된다. 이러한 상태 레벨은 상태 관리자(112)에 의해 자동으로 상승되어 사용자(1102)에게 끊김 없는 사용자 경험을 제공할 수 있다.
이 예시적인 시나리오(1100)에서, IMU(108)에 의해 제공된 관성 데이터는 사용자(1102)가 스마트폰(1104)에 관여하고자 하고 따라서 그들이 인증되기를 원한다는 것을 더 높은 수준의 신뢰도 및 그에 따른 추가 전력으로 확인함으로써 상태 관리자(112)로 하여금 확인하게 한다. 이는 IMU의 관성 데이터와 레이더 시스템의 레이더 데이터를 사용하여 전력 소비를 줄이면서 빠르고 쉽게 사용자를 인증하는 방법을 보여주는 한 가지 예시 시나리오에 불과하다.
고레벨 상태 줄이기
도 12는 IMU 및 레이더를 통해 고레벨(높은 수준) 상태를 감소시키기 위한 예시적인 방법(1200)을 도시한다. 방법(1200)은 수행되는 동작을 지정하는 블록 세트로 도시되지만, 반드시 각 블록에 의한 동작을 수행하기 위해 도시된 순서 또는 조합으로 제한되는 것은 아니다. 또한, 하나 이상의 작업을 반복, 결합, 재구성 또는 연결하여 이 문서에 설명된 다른 방법(예: 방법 1000 및 1400)을 포함하여 광범위한 추가 및/또는 대체 방법을 제공할 수 있다. 다음 설명의 일부에서, 도 1의 예시적인 운영 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 장치에서 작동하는 하나의 엔터티 또는 여러 엔터티의 성능으로 제한되지 않는다.
선택적으로, 1202에서 그리고 동작 1204 또는 1206 이전에, 비활동 기간이 만료된 것으로 결정된다. 기간의 만료에만 의존하는 일부 다른 종래 기술과 대조적으로, 방법(1200)은 사용자 장비에 대한 고레벨 상태를 감소시키기 위해 비활동 기간을 사용하거나 사용하지 않을 수 있다. 이 비활성 타이머는 필요하지 않지만 타이머를 사용하면 짧은 타이머라도 경우에 따라 전력을 절약할 수 있다. 보다 상세하게, 터치 스크린 또는 버튼에 대한 마지막 터치, 오디오 명령 또는 제스처 입력이 사용자 장비에 의해 수신되었을 때와 같이 사용자 장비와의 마지막 사용자 동작이 수신될 때 비활성 타이머가 시작된다. 일부 종래 기술은 타이머만을 사용하고 이러한 종래의 타이머 때문에 종종 몇 분(예: 1분, 3분, 5분, 10분) 동안 지속되지만, 방법(1200)은 1/2, 1, 3, 5, 10, 또는 20초와 같이 비교적 짧은 시간 기간을 사용할 수 있다. 그렇게 함으로써, 사용자 장비가 정보를 노출하고, 부적절한 액세스를 가능하게 하는 등의 가능성은 매우 낮으며, 짧은 비활동 시간 기간의 사용은 비활동 시간 기간 동안 1204 및/또는 1206의 동작을 수행하는 것을 억제함으로써 전력의 어느 정도를 절약하도록 동작할 수 있다.
1204에서, 사용자가 사용자 장비와 상호작용 중이거나 최근에 사용자 장비와 상호작용한 사용자 장비의 고레벨 상태 동안 움직임이 결정된다. 움직임 관리자(110)는 UE(102)와 통합된 IMU(108)로부터 수신된 관성 데이터에 기초하여 이 움직임을 결정한다. 점선 화살표로 도시된 바와 같이, 이 동작은 선택적으로 동작 1206 및/또는 1202에 응답할 수 있다(도시하지 않음). 이 결정된 움직임은, 사용자(120)가 UE(102)를 집어 들고, 함께 걷고, 내려 놓거나, 주머니나 인클로저에 넣거나, 단순히 UE(102)를 만지거나 만지고 있음을 나타내는 움직임과 같이 위에 설명된 다양한 움직임 중 하나 이상일 수 있다. 일부 경우에, 움직임 관리자(110)는 움직임이 UE(102)의 상태를 변경하기에 충분하거나 충분하지 않다고 결정하여 상태 관리자(112)에 전달한다. 그 예로는 임계값 움직임을 극복하지 못한 것, 주변 진동으로 인한 것, 그리고 움직이는 동안 진행 중인 움직임에 대한 충분한 변화가 아닌 것과 같이 위에서 언급한 것들이 포함된다. 따라서, 움직임 관리자(110)는 사용자(120)가 UE(102)와 함께 걸을 때 UE(102)가 움직이고 있다고 결정할 수 있지만, 그 움직임은 사용자(120)가 UE(102)로부터 분리될 수 있다는 가능성을 표시하기에 충분한 변화가 아니라고 결정할 수 있다. 이를 보는 또 다른 방법은 이동(움직임)이 UE(102)의 현재 이동이 아니라 변경에 기초할 수 있다는 것이다. 예시적인 변경은 사용자가 UE(102)와 함께 걷고 테이블 위에 놓는 것과 같이 이동한 다음 이동하지 않는 것을 포함한다. IMU(108)로부터의 관성 데이터는 사용자(120)가 UE(102)를 테이블에 놓는 것을 포착하지 못할 수 있지만, 관성 데이터가 움직임 직전(사용자(120)가 UE(102)와 함께 걷고 있었을 때)에 움직임이 거의 또는 전혀 없다는 결정은 여전히 이 직전 움직임에 기초하여 동작(1204)에서 움직임으로 결정될 수 있다.
더 자세하게 기술은 사용자 장비의 상태를 사용자의 관여에 맞게 조정할 수 있다. 따라서, 일부 경우에 사용자 장비는 사용자 장비와 고도로 관여하고 있기 때문에 높은 수준(고레벨) 상태(또는 상태들)에 있다. 예를 들어, 방법(1200)은 동작 1204 또는 1206 이전에 사용자가 사용자 장비와 상호작용하고 있는지 결정할 수 있다. 사용자의 관여에 대한 이러한 결정은 사용자의 관여 의도를 나타내는 사전 레이더 데이터에 기초가 될 수 있으며, 사용자의 오디오 또는 터치 입력, 사용자로부터 수신된 명령 또는 입력 및 오디오 또는 터치 센서를 통한 성공적인 인증 프로세스에 기초가 될 수 있다.
1206에서, 관여해제 의도는 레이더 데이터에 기초하여 사용자 장비에 의해 결정된다. 레이더 관리자(106)는 레이더 시스템(104)으로부터 레이더 데이터를 수신하고, 이 레이더 데이터를 사용하여 사용자가 UE(102)로부터 이탈할(관여해제할) 의도인지 여부를 결정한다. 이러한 관여해제 의도는 UE(102)로부터의 사용자(120)의 손 후퇴, UE(102)에 대한 얼굴 방향 변화, 사용자(120)가 UE(102)로부터 등을 돌리거나 사용자가 등을 UE(102)로 향하는 등과 같이 위에 명시된 다양한 유형을 포함한다.
점선 화살표로 도시된 바와 같이, 이 동작(1206)은 선택적으로 동작(1204)(및/또는 1202, 미도시)에 응답할 수 있다. 이러한 경우에 상태 관리자(112) 또는 레이더 관리자(106)는 움직임이 결정될 때까지 관여해제(분리)하려는 사용자(120)의 의도를 결정하는 것을 삼가함으로써 전력을 보존하도록 작용하고, 1204에서 움직임 결정을 위해 그 반대도 마찬가지이다. 그렇게 함으로써 전력을 보존할 수 있다. 따라서, 전력 관리 모듈(620)은 1204에서 움직임이 결정될 때까지 레이더 시스템(104)을 감소된 전력으로 유지하는 기술에 의해 지시될 수 있다. 일단 움직임이 결정되면, 상태 관리자(112)는 전력 관리 모듈(620)이 사용자(120)가 관여해제 의도를 나타내는 방식으로 행동하고 있는지 여부를 결정하기 위한 준비로 레이더 시스템(104)에 전력(power-up)을 공급하게 한다.
1208에서, 사용자 장비의 고레벨 상태는 이동(움직임)의 결정 및/또는 관여 해제 의도에 응답하여 중간 레벨 또는 저레벨 상태로 감소된다. 더 자세하게, 액세스, 전력 또는 정보, 예를 들어, 도 5에 예시된 것들과 관련된 하나 이상의 상태일 수 있는 예시적인 고레벨 상태(1208-1)를 참조한다(고액세스 상태(502-1), 고전력(504-1) 또는 고정보 상태(506-1)). 상태 관리자(112)는 이동(움직임)의 결정 또는 관여해제 의도, 또는 둘 모두에 응답하여 UE(102)의 상태 중 하나 이상을 감소시키기로 결정한다. 이는 도 12에 고레벨(1208-1)에서 중간 레벨(1208-2) 또는 저레벨(1208-3)으로의 감소를 나타내는 화살표와 함께 예시되어 있다. 이는 전력, 액세스 및 정보의 다양한 세분성 중 두 가지에 불과하다. 도 5에 도시된 바와 같이, 중간 레벨(1208-2) 및 저레벨(1208-3)은 중간 액세스 상태(502-2), 중간 전력 상태(504-2) 및 중간 정보 상태(506-2)를 포함하며, 위에 설명되어 있다. 저레벨(1208-3)은 3개의 저상태(low state), 저액세스 상태(502-3), 저전력 상태(504-3) 및 저정보 상태(506-3)로 예시된다. 이러한 상태는 위에서 자세히 설명한다. 이들 상태 중 임의의 하나, 둘 또는 셋 모두는 동작(1208)에서 상태 관리자(112)에 의해 동일한 레벨 또는 상이한 레벨로 감소될 수 있음을 주목한다. 따라서, 상태 관리자(112)는 높은 액세스 상태(502-1)를 중간 또는 낮은 상태로 감소시킬 수 있고, 전력 상태 및 정보 상태를 높은 또는 혼합 레벨로 유지할 수 있다. 유사하게, 상태 관리자(112)는 UE(102)를 고액세스 상태(502-1)(예를 들어, "잠금해제")로 유지하면서 전력 상태(504)를 저전력 상태(504-3)로 감소시킬 수 있다.
예로서, 도 13에 예시된 시나리오(1300)에 대한 방법(1200)의 적용을 고려한다. 시나리오(1300)는 3개의 부분을 포함하며, 각각은 이전 부분에 연대순으로 뒤따른다. 시나리오(1300)의 제1 부분 이전에, 사용자(1302)가 스마트폰(1304)과 능동적으로 관여하고 있고 스마트폰(1304)이 상위 레벨 상태, 즉 전력, 액세스 및 정보 상태에 있다고 가정한다. 시나리오 부분(1300-1)에 도시된 제1 부분에서, 사용자(1302)는 테이블로 걸어가서 테이블 위에 스마트폰(1304)을 놓는다. 동작 1204에서, IMU(108)는 테이블 위의 스마트폰(1304) 터치에 대한 관성 데이터를 수신하거나 또는 테이블 위에 놓이기 전에 관성 데이터가 움직임을 나타내는 경우(스마트폰(1304)과 함께 걷는 사용자(1302)에 기초하여) 관성 데이터의 부족을 수신한다. 이들 관성 데이터 중 하나 또는 둘 모두에 기초하여, 이동(움직임) 관리자(110)는 스마트폰(1304)에 대한 이동(움직임)을 결정하고 이 결정을 레이더 관리자(106) 및/또는 상태 관리자(112)에 전달한다.
레이더 관리자(106)가 움직임(이동) 데이터에 즉시 응답하거나 이미 그렇게 하고 있었던 레이더 필드(118)(시각적 간결함을 위해 표시되지 않음, 예는 도1 참조)를 제공하고, 따라서 사용자(1302)의 신체 위치 등을 나타내는 레이더 데이터를 수신한다고 가정한다. 이 레이더 데이터에 기초하여, 레이더 관리자(106)는 신체, 팔 및 손 배치에 대한 동작(1206)에서, 사용자(1302)가 시나리오 부분(1300-1)에서 관여해제할 의도가 없다는 것을 제1 반복(및 다른 여러 개) 동안 결정한다. 이는 사용자(1302)가 스마트폰(1304)을 향하고 있고 사용자의 손과 팔이 스마트폰(1304)을 향하고 있기 때문이다. 이 때문에, 고정보(높은 정보) 상태(1306-1)는 변경되지 않는다.
그러나, 시나리오 부분(1300-2)에서, 대략 2초 후, 사용자(1302)가 커피 컵을 들고 스마트폰(1304)으로부터 몸을 돌리면서 멀어지기 시작한다고 가정한다. 이 지점에서, 레이더 관리자(106)는 사용자(1302)의 신체 방향이 스마트폰(1304)에서 부분적으로 멀어지고 그리고 사용자(1302)의 팔과 손이 스마트폰(1304)이 아니라 커피 컵을 향하는 것에 기초하여 사용자(1302)가 스마트폰(1304)으로부터 관여해제(분리)할 의도가 있다고 결정한다. 레이더 관리자(106)는 이 결정을 상태 관리자(112)에 전달한다.
동작 1208에서, 결정을 관여해제(disengage)하려는 움직임 및 의도를 수신한 것에 응답하여, 상태 관리자(112)는 스마트폰(1304)의 정보 상태를 시나리오 부분(1300-1)에 도시된 고정보 상태(1306-1)에서 중간 정보 상태(1306-2)로 감소시킨다. 이러한 예시적인 정보 상태는 2개의 문자 메시지 및 하루 중 시간으로부터의 콘텐츠를 보여주는 시나리오 부분(1300-1)에 표시된 정보와 함께 표시된다. 사용자(1302)가 몸을 돌리고 커피컵을 집는 즉시, 정보 상태는 시간과 문자 메시지에 대한 축소된 정보(발신자의 이름과 함께 표시되지만 컨텍스트는 표시되지 않음)와 함께 표시되는 중간 정보 상태(1306-2)로 축소된다. 이 중간량의 정보는 사용자(1302)에게 유용할 수 있는데, 이는 사용자(1302)가 관여에 대한 마음을 바꾸거나 다른 사람의 문자와 같은 새로운 알림이 도착했는지 확인하기 위해 스마트폰(1304)을 다시 보고 싶어하기 때문이다.
또한 중간 정보 상태(1306-2)를 보여주는 대신에, 그리고 동작(1208)의 일부로서, 상태 관리자(112)는 중간 상태에 있는 즉시 또는 직후에 낮은 레벨로 진행할 수 있다. 여기서 상태 관리자(112)는 사용자(1302)가 관여해제를 의도하거나 더 높은 신뢰 수준을 나타내는 레이더 관리자(106)에 의한 추가 결정에 응답하여(예: 사용자(1302)가 이제 몇 미터 떨어져 있고 그리고 등을 스마트폰(1304)으로 완전히 돌렸을 때 높은 신뢰도로 표시됨), 현재 시간만을 제시하는 시나리오 부분(1300-3)으로 도시된, 정보 상태를 저정보(낮은 정보) 상태(1306-3)로 더 감소시킨다.
이 예는 정보 상태에 대한 변경 사항을 보여주지만 액세스 및 전력도 변경될 수 있다. 이는 높은 수준(고레벨)의 액세스(예를 들어, 도 5의 높은 수준의 액세스(502-1))를 나타내는 시나리오 부분(1300-1)에 도시된 잠금 해제 아이콘(1310)과 함께 부분적으로 도시된다. 상태 관리자(112)가 이동(움직임) 데이터 및 관여해제 의도를 수신한 후 시나리오 부분(1300-2)에서, 상태 관리자(112)는 잠금 아이콘(1312)으로 사용자에게 표시되는 낮은 수준(저레벨)으로 액세스를 감소시킨다. 또한, 예를 들어 시나리오 부분(1300-2 및/또는 1300-3)에서 스마트폰(1304)의 디스플레이(미도시)의 광도를 감소시키는 것과 같이 전력 상태가 변경될 수 있다.
인증 상태 유지
도 14는 인증된 상태를 유지하기 위한 예시적인 방법(1400)을 도시한다. 방법(1400)은 수행되는 동작을 지정하는 블록 세트로서 도시되지만, 반드시 각 블록에 의한 동작을 수행하기 위해 도시된 순서 또는 조합으로 제한되는 것은 아니다. 또한, 하나 이상의 동작을 반복, 결합, 재구성 또는 연결하여 이 문서에 설명된 다른 방법(예: 방법 1000 및 1200)을 포함하여 광범위한 추가 및/또는 대체 방법을 제공할 수 있다. 다음 설명의 일부에서, 도 1의 예시적인 운영 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 장치에서 작동하는 하나의 엔터티 또는 여러 엔터티의 성능으로 제한되지 않는다.
방법(1400)을 설명하기 전에, 전체 또는 부분적으로 위에 설명된 임의의 방법이 방법(1400)과 결합될 수 있다는 점에 유의한다. 예를 들어, 도 10의 방법(1000)의 수행이 고려된다. 이 방법(1000)은 사용자 장비의 사용자 인증을 초래하는 인증 관리의 일례를 설명한다. 이 인증에 응답하여, 사용자 장비는 인증된 상태로 진입한다. 이 상태는 위에서 더 자세히 설명되어 있다. 따라서, 방법(1000)(또는 사용자의 일부 다른 인증 방식)은 방법(1400) 이전에 수행된다.
1402에서, 사용자 장비의 인증된 상태 동안, 사용자 장비의 사용자에 의한 잠재적인 관여해제(분리)가 결정된다. 사용자에 의한 잠재적인 관여해제에 대한 이러한 결정은 위에서 언급한 바와 같이 사용자에 의한 관여해제 의도를 결정하는 것과 아래에 설명된 다른 결정을 포함할 수 있다. 또한, 위에서 언급한 바와 같이, 인증된 상태는 사용자에 의한 하나 이상의 데이터, 애플리케이션, 기능, 계정 또는 사용자 장비의 컴포넌트에 대한 액세스를 허용한다. 인증된 상태의 예는 위의 도 5에 언급된 높은 액세스(고액세스) 상태(502-1) 및 중간 액세스 상태(502-2)를 포함한다. 이러한 액세스 상태 중 하나는 인증된 상태에 있을 때 UE(102)에 의해 허용될 수 있지만(종종 사용자 기본 설정 또는 운영 체제 기본 설정을 기반으로 함), 인증된 상태는 사용자의 이전 인증을 가정한다. 그러나, 사용자가 선택한 선호도 또는 설정은 인증 없이 UE(102)의 높은 또는 중간 액세스를 허용할 수 있다. 따라서, 인증된 상태는 위에서 언급한 높은(상위) 및 중간 액세스 상태에 의해 허용된 액세스를 포함할 수 있지만 높은(상위) 및 중간 액세스는 반드시 인증된 상태는 아니다.
도 14에 도시된 바와 같이, 잠재적인 관여 해제의 결정은 선택적으로, 방법(1200)의 동작(1206)에서 관여해제 의도를 결정하는 것과 같이, 여기에 설명된 다른 방식뿐만 아니라 작작(1404) 또는 동작(1406)에 응답하여(또는 동작의 수행을 통해) 수행될 수 있다. 1404에서, 비활동 기간의 만료가 결정된다. 위에서 언급한 바와 같이, 이 비활성 기간은 마지막 사용자 작업(액션)이 수신될 때, 사용자 장비와의 활성 관여(active engagement)가 종료될 때(또는 마지막으로 수신될 때), 또는 관여하려는 마지막 의도가 결정되었을 때 시작될 수 있다. 예를 들어, 비활성 타이머(예: 기간)는 사용자가 터치 감지 디스플레이 또는 버튼을 마지막으로 터치하거나, 마지막으로 수신된 오디오 명령을 말하거나, 마지막으로 결정된 터치 독립 제스처(예: 위에서 언급한 레이더 시스템(104)을 사용하여 결정된 제스처)가 수행될 때 시작한다.
1406에서, 사용자 장비와 통합된 관성 측정 유닛(IMU)의 관성 데이터에 기초하여 사용자 장비의 움직임(이동)이 결정된다. 도 1의 IMU(108)로부터 수신된 관성 데이터와 같은 예시적인 움직임 및 관성 데이터가 위에서 설명되었다. 따라서, 움직임 결정은 UE(102)를 사물함, 가방 또는 주머니에 넣는 것과 같이 사용자가 잠재적으로 관여해제하고 있다고 방법이 결정할 수 있는 한 가지 방법이다(백이나 주머니에 넣는 것은 나중에 수동적 관여로 판단될 수 있지만, 아래에 언급됨).
1408에서, 레이더 데이터에 기초하여 사용자 장비와 사용자에 의한 수동 관여(passive engagement)가 결정된다. 수동 관여의 이러한 결정은 1402에서의 잠재적 관여해제(점선 화살표로 표시됨)의 결정에 응답할 수 있거나, 그 결정과 독립적이거나 일치할 수 있다. 잠재적인 관여해제의 결정에 응답하여 동작(1408)을 수행하는 것은 일부 경우에 전력을 절약하거나 지연을 감소시킬 수 있다. 예를 들어, 방법(1400)은 잠재적인 관여해제의 결정에 응답하여 레이더 시스템(104)(도 6a 및 6-2도 참조)의 컴포넌트에 전력을 공급할 수 있다. 이는 위에서 언급한 바와 같이 전력을 절약하거나, 레이더 시스템(104)이 사용자가 레이더 시스템(104)에 수동적으로 관여하는지 여부를 결정하기 위해 준비하는 추가 시간을 제공할 수 있다.
도 1의 컨텍스트에서, 레이더 관리자(106)는 사용자(120)가 UE(102)에 수동적으로 관여하고 있다고 결정한다. 이러한 수동적 관여는 여러 방식으로 레이더 관리자(106)에 의해 결정될 수 있으며, 이는 배타적이거나 서로 중첩될 수 있다. 예를 들어, 레이더 관리자(106)는 사용자(120)의 손이 사용자 장비(102)의 디스플레이(116)가 유지되는 방향에서 사용자 장비(102)를 잡고 있다는 것을 나타내는 레이더 데이터에 기초하여 사용자가 수동적으로 관여하고 있다고 결정할 수 있다. 따라서, 사용자(120)가 UE(102)를 안정되게(또는 콘텐츠를 보거나 다른 사람이 콘텐츠를 볼 수 있도록 충분히 안정되어 있으면) 사용자(120)는 수동적으로 관여한다. 사용자(120)가 자신의 신체를 UE(102)를 향하여 바라보거나 배향하는 것을 포함하여 수동적 관여를 결정하는 다른 예가 위에 설명되어 있다.
또한, 레이더 관리자(106)는 사용자(120)가 존재함을 나타내는 레이더 데이터에 기초하여, 예를 들어 UE(102)의 2미터 내에 있는 것과 같이 수동 관여를 결정할 수 있다. 1.5미터, 1미터, 또는 1/2미터와 같은 다른 거리도 또는 대신 사용될 수 있다. 사실상, 레이더 관리자(106)는 사용자(120)가 대략 UE(102)의 도달 범위 내에 있음으로써 수동적으로 관여하고 있다고 결정할 수 있다. 레이더 관리자(106)는 사용자(120)가 수동적으로 관여하고 있음을 표시함으로써 명시적으로 그렇게 하거나 단순히 UE(102)로부터의 거리를 표시하는 정보를 상태 관리자(112)에 전달할 수 있다. 그런 다음 상태 관리자(112)는 사용자(120)의 근접도, 및 일부 경우에는 다른 사람들(또는 랙(lack))과 같은 컨텍스트, 사용자(120)가 차량(자동차, 버스, 기차)에 있는지, 책상에 있는지 여부 등에 기초하여 수동적 관여를 결정한다. 예를 들어, 집에 앉아 있는 사용자는 붐비는 커피숍이나 기차에 앉아 있는 사용자보다 더 큰 허용 거리를 가질 수 있다.
1410에서, 사용자에 의한 사용자 장비와의 수동적 관여의 결정에 응답하여, 인증된 상태가 유지된다. 인증된 상태의 이러한 유지는 또 다른 잠재적인 관여해제가 결정될 때까지 또는 어떤 시간 기간 동안 계속될 수 있으며, 그 후에 방법(1400)이 다시 수행될 수 있다. 인증된 상태의 한 예는 도 5의 고액세스 상태(502-1)이다. 많은 상황에서 이 인증된 상태는 UE(102)에 대한 잠금 해제 상태이지만, 일부 다른 경우에 인증된 상태는 전술한 중간 액세스 상태(502-2)와 같이 UE(102)에 대한 전체가 아닌 일부 액세스를 허용한다.
UE(102)에 대한 인증된 상태의 이러한 유지는 다른 상태들이 유지될 것을 요구하지 않는다. 예를 들어, 사용자(120)가 UE(102)로부터 2미터 이내에 있지만 UE(102)를 바라보거나 지향하지 않을 수 있는 경우, 상태 관리자(112)는 고전력 상태(504-1) 및 고전력 정보 상태(506-1)에서와 같이 UE(102)의 전력 상태 또는 정보 상태를 도 5에 언급된 중간 또는 저전력 또는 정보 상태로 감소시킬 수 있다. 그러나, 수동적 관여가 UE(102)를 바라보는 사용자를 포함하는 경우, 디스플레이(116)를 통해 사용자(120)에게 콘텐츠를 계속 제시하기 위해 전력 또는 정보 상태도 유지될 수 있다.
선택적으로, 방법(1400)은 레이더 데이터에 기초하여 비사용자의 존재 또는 관여 의도가 결정되는 동작(1412)으로 진행할 수 있다. 이 레이더 데이터는 수동 관여의 기반이 되는 레이더 데이터로부터 몇 초 또는 몇 분 후에 수신된 레이더 시스템(104)으로부터의 레이더 데이터와 같은 동일하거나 나중에 수신된 레이더 데이터일 수 있다. 따라서, 1412에서 레이더 관리자(106)는 비사용자가 존재하거나 UE(102)와 관여할 의도가 있다고 결정한다. 따라서, 비사용자가 UE(102)에 도달하거나 UE(102)의 디스플레이(116)를 보는 경우, 레이더 관리자(106)는 이러한 존재 또는 의도를 결정하고 이를 상태 관리자(112)에 전달할 수 있다.
1414에서, 비사용자가 존재하거나 사용자 장비에 관여할 의도가 있다는 결정에 응답하여, 인증된 상태의 유지가 중단된다. 따라서, 비사용자가 UE(102)의 디스플레이(116)로 걸어오거나, 도달하거나, 바라보면, 상태 관리자(112)는 UE(102)의 인증된 상태를 유지하는 것을 중단한다(또는 능동적으로 인증을 해제한다). 이러한 중단과 함께, 상태 관리자(112)는 또한 비사용자에게 제공된 정보를 감소 또는 제거하는 데 효과적인 정보 상태와 같은 다른 상태를 감소시킬 수 있다. 예를 들어 인증된 사용자가 지하철에서 개인 이메일을 읽고 있다고 가정한다. 사용자 뒤에 앉아 있는 사람이 개인 이메일을 읽기 위해 디스플레이를 보는 경우, 상태 관리자(112)는 UE(102)를 잠그고 개인 이메일 표시를 중단할 수 있다. 이는 빠르고 원활하게 수행되어 사용자의 개인 정보를 더욱 향상시킨다.
1416에서, 선택적으로 인증된 상태를 유지하는 것을 중단한 후, 비사용자가 더 이상 존재하지 않거나 더 이상 관여할 의도가 없다는 결정에 응답하여 방법이 인증된 상태로 리턴될 수 있다. 위의 예를 계속하면, 지하철의 비사용자가 UE(102)의 디스플레이(116)에서 시선을 돌릴 때, 상태 관리자(112)는 인증 프로세스를 통해 또는 단순히 재인증 없이 인증 상태로 다시 전환함으로써 사용자(120)를 재인증할 수 있다. 따라서, 사용자(120)는 인증 해제를 야기한 조건의 중단 즉시 이전 상태로 간단히 돌아갈 수 있다. 여기에 설명된 시스템 및 프로세스와 같은 일부 인증 프로세스는 빠르고 전력 효율적이지만 인증 프로세스를 수행하지 않는 것이 더 빠르고 전력 효율적일 수 있다. 인증된 상태로 돌아갈 때, 상태 관리자(112)는 사용자(120)에게 마지막으로 제공된 콘텐츠와 일치하는 콘텐츠에서 이전 레벨로 정보 상태를 리턴할 수 있다. 이 예에서, 비사용자가 시선을 돌릴 때, 디스플레이(116)는 UE(102)가 사용자(120)에게 마지막으로 제시한 동일한 위치에서 개인 이메일을 제시한다. 이를 통해 사용자에게 원활한 인증 관리 및 향상된 정보 프라이버시를 제공한다. 사용자(120)에 의한 선택은 인증 해제를 위한 사용자 선택과 같은 기술의 동작을 무시할 수 있다는 점에 유의한다. 일부 경우에, 사용자(120)는 여기에 설명된 방법에 의해 허용되는 UE(102)를 단순히 턴오프한다.
시나리오(1500)를 통해 도 15에 도시된 다른 예를 고려한다. 시나리오(1500)는 4개의 부분을 포함한다. 제1 부분(1500-1)에서, 사용자(1502)가 자격 증명 또는 얼굴 특징 분석을 통해 스마트폰(1504)에 대해 인증되었고, 따라서 스마트폰(1504)이 인증된 상태(1506)에 있다고 가정한다. 이 인증된 상태(1506)는 사용자(1502)가 스마트폰(1504)에 액세스하는 것을 허용하며, 이는 화산 폭발에 관한 텔레비전 프로그램을 시청함으로써 스마트폰(1504)의 콘텐츠에 액세스하는 사용자(1502)를 통해 보여진다.
시나리오(1500)는 2개의 상이한 경로를 따라 발산하는 것으로 도시된다. 한 경로에서, 비활동 타이머(Inactivity Timer)는 사용자(120)가 스마트폰(1504)을 터치하거나 입력을 제공하는 것을 중단할 때 시작되며, 여기에서 그들이 텔레비전 프로그램을 보기 위해 릴렉스할 때이다. 다른 경우에는 비활성 타이머가 시작되거나 시작되지 않을 수 있지만 만료 없이 잠재적인 해제가 결정된다. 따라서, 시나리오 부분(1500-2)에서, 비활성 3분 후에 비활성 타이머가 만료된다. 도 14로 돌아가면, 동작(1402)은 동작(1404)에서 만료되는 비활동 기간으로 인해 사용자에 의한 잠재적인 관여해제가 발생했다고 결정한다. 시나리오 부분(1500-3)에 도시된 제2 경로에 대해, 동작(1402)은 관성 데이터에 기초하여 동작(1406)을 수행함으로써 스마트폰(1504)의 움직임이 발생했다고 결정함으로써 사용자에 의한 잠재적인 관여해제가 발생했다고 결정한다. 이러한 움직임의 원인은 사용자(1502)가 스마트폰(1504)이 놓여 있는 테이블의 가장자리에 발을 올려놓기 때문이다.
잠재적인 관여해제에 대한 이러한 결정 중 하나에 응답하여 레이더 관리자(106)는 레이더 데이터에 기초하여 사용자(1502)가 스마트폰(1504)과 수동적으로 관여되어 있다고 결정한다. 이 동작은 1408에서 수행된다. 여기에서 사용자(1502)의 존재 또는 스마트폰(1504)을 보는 것이 결정되고 둘 중 하나는 사용자(1502)가 수동적으로 관여하고 있음을 나타내는 것으로 가정한다.
이에 응답하여, 동작 1410에서, 상태 관리자(112)는 인증된 상태를 유지한다. 이 모든 것은 사용자(1502)가 그것이 수행되었다는 것을 알아차리지 않고 매끄럽게(심리스) 수행될 수 있다. 시나리오 부분(1500-4)에 도시된 바와 같이, 스마트폰(1504)은 단순히 어느 한 경로를 통해 텔레비전 프로그램을 계속해서 제시한다.
시나리오(1500)를 따르거나 대안적인 독립형 시나리오일 수 있는 도 16의 다른 시나리오(1600)를 고려한다. 시나리오(1600)는 3개의 시나리오 부분을 포함하고, 제1 시나리오 부분(1600-1)에서, 사용자(1502)는 도 15에 도시된 것과 유사하게 화산에 관한 텔레비전 프로그램을 시청하고 있으며, 여기에서는 스마트폰(1504)의 콘텐츠(1602)로 표시된다. 스마트폰(1504)은 도 15에 언급된 인증된 상태(1506)와 같이 프로그램의 이러한 프리젠테이션 동안 인증된 상태에 있다.
그러나 시나리오 부분(1600-2)에서 비사용자(1604)는 사용자(1502)와 함께 소파에 앉는다. 이 비사용자(1604)는 사용자(1502)의 동료이므로 사용자(1502)는 그들에게 고개를 돌리고 그들과 대화하기 시작한다. 사용자(1502)의 이러한 행동은 위에서 언급한 바와 같이 머리를 돌리거나 말하는 것 또는 둘 다인 잠재적인 관여해제로 간주될 수 있다. 사용자(1502)에 의해 잠재적인 관여해제가 고려되는 경우, 상태 관리자(112)는 도 5 및 도 12에 언급된 액세스 상태 또는 정보 상태를 감소시키는 것과 같이 스마트폰(1504)의 상태를 감소시킨다(예를 들어, 방법(1200)의 동작(1206 및 1208)).
그러나 레이더 관리자(106)가 방법(1400)의 동작(1412)을 통해 그리고 레이더 데이터에 기초하여 비사용자(1604)의 존재를 결정한다고 가정한다. 비사용자(1604)의 존재에 기초하여, 상태 관리자(112)는 상태 관리자(112)가 이전에 스마트폰(1504)의 인증된 상태를 유지하도록 작동한 후 인증된 상태(1506)를 유지하는 것을 중단한다(예를 들어, 도 15에 도시된 동작(1410)을 통해). 따라서, 상태 관리자(112)는 스마트폰(1504)이 시나리오 부분(1600-2)의 확대도에 도시된 비인증 상태(1604)로 감소되게 할 수 있다. 이 변경은 잠금 아이콘(1606)을 통해 뿐만 아니라 콘텐츠(1602) 표시를 중단함으로써 사용자(1502)에게 보여진다.
시나리오 부분(1600-3)에서, 비사용자(1604)는 떠났고 사용자(1502)는 스마트폰(1504)을 바라보는 것으로 돌아간다. 레이더 관리자(106)는 비사용자(1604)가 더 이상 존재하지 않는다고 결정하고, 이 결정을 상태 관리자(112)에 표시하고, 상태 관리자(112)는 스마트폰(1504)을 인증된 상태(1506)로 되돌린다. 상태 관리자(112)는 또한 사용자(1502)가 스마트폰(1504)에 관여할 의도가 있다는 결정을 요구할 수 있거나, 스마트폰(1504)의 존재를 떠나는 비사용자(1604)에 기초하여 단순히 인증된 상태로 돌아갈 수 있음을 주목한다. 또한 이 문서에 설명된 기술은 사용자를 중단했던 지점으로 원활하게 되돌릴 수 있으므로 탁월한 사용자 경험을 제공할 수 있다. 이는 상태 관리자(112)가 스마트폰(1504)을 동일한 텔레비전 프로그램으로 그리고 사용자(1502)에게 마지막으로 제시되었던 동일하거나 거의 동일한 시점으로 되돌리는 도 16에 도시되어 있다. 일부 실시예의 경우, 기술은 사용자가 설정 화면 또는 유사한 장치 구성 화면에서 단계 1416에서 비사용자가 더 이상 존재하지 않거나 관여할 의도가 없다는 결정에 응답하여 스마트폰(1504)이 인증된 상태로 돌아갈지 여부, 사용자가 인증 시스템의 전력 소비 컴포넌트를 사용하는 보다 엄격한 인증 프로세스가 수행될 때까지(예를 들어, 위의 단계 1006) 스마트폰(1504)이 인증되지 않은 상태로 유지될 것인지 여부를 지시할 수 있게 한다. 다르게 표현하자면, 기술은 설정 또는 유사한 장치 구성을 통해 사용자가 선택한 설정을 제공할 수 있으며, 이는 테인트(taint)가 더 이상 존재하지 않는 경우에도 스마트폰(1504)이 일단 비사용자의 테인트가 있으면 인증 해제된 상태로 유지되도록 한다.
예들
다음 섹션에서는 예들이 제공된다.
예 1: 방법으로서, 레이더 데이터에 기초하여 그리고 사용자 장비에 의해, 관여 의도(intent to engage)를 결정하는 단계 -상기 관여 의도는 사용자가 사용자 장비에 관여(engage)할 의도가 있음을 나타냄-; 관여 의도의 결정에 응답하여, 인증 시스템의 전력 소비 컴포넌트의 전력 상태를 제1 전력 상태에서 제2 전력 상태로 변경하는 단계 -제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비함-; 그리고 인증 시스템에 의해 그리고 제2 전력 상태 또는 제3의 고전력 상태에서 전력 소비 컴포넌트를 사용하여, 인증 프로세스를 수행하는 단계를 포함하며, 상기 인증 프로세스는 사용자를 인증하는 데 효과적이다.
예 2: 예 1의 방법에서, 상기 관여 의도는 사용자가 사용자 장비를 향해 도달하고, 사용자 장비를 바라보고, 및/또는 사용자 장비를 향해 기울고 있음을 나타내는 레이더 데이터에 기초하여 결정된다.
예 3: 예 1 및 예 2 중 어느 하나의 방법에 있어서, 상기 방법은, 사용자 장비와 일체화된 관성 측정 유닛을 통해 수신된 움직임 데이터에 기초하여, 사용자 장비의 움직임을 결정하는 단계; 그리고 사용자 장비의 움직임의 결정에 응답하여, 디스플레이의 시각적 표현을 변경하고 및/또는 디스플레이의 터치 입력 수신 능력을 변경하는 데 효과적인 디스플레이의 전력 상태를 변경하는 단계를 더 포함할 수 있다.
예 4: 예 1 및 예 2 중 어느 하나의 방법에서, 상기 인증 프로세스는 사용자 인증 없이 제1 기간 또는 미리 설정된 반복 횟수 동안 수행되고, 상기 방법은, 사용자 장비와 통합된 관성 측정 유닛을 통해 수신된 움직임 데이터에 기초하여 사용자 장비의 움직임을 결정하는 것에 응답하여 각각 제1 기간 또는 미리 설정된 반복 횟수 후에 상기 인증 프로세스를 계속하는 단계를 더 포함할 수 있다.
예 5: 예 1 내지 예 4 중 어느 하나의 방법에서, 상기 인증 시스템은 얼굴 인증 센서를 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 상기 얼굴 인증 센서이다.
예 6: 예 5에 있어서, 상기 얼굴 인증 센서는 카메라 및 적어도 하나의 적외선 또는 근적외선 이미터, 프로젝터 또는 센서를 포함할 수 있다.
예 7: 예 6에 있어서, 상기 인증 프로세스를 수행하는 단계는 주변광이 낮거나 없는 상태에서, 카메라에 의해 감지된 반사 신호를 사용하여 사용자의 얼굴 특징을 결정하는 단계를 포함하고, 상기 반사 신호는 적외선 또는 근적외선 플러드(flood) 이미터에 의해 제공되는 적외선 또는 근적외선 신호의 적외선 또는 근적외선 반사를 포함할 수 있다.
예 8: 예 6에 있어서, 상기 인증 프로세스를 수행하는 단계는, 상기 카메라에서 감지된 반사 신호를 이용하여 사용자의 얼굴 특징의 깊이 맵을 결정하는 단계를 포함하고, 상기 반사 신호는 적외선 또는 근적외선 프로젝터에 의해 제공되는 적외선 또는 근적외선 신호의 적외선 또는 근적외선 반사를 포함할 수 있다.
예 9: 예 5 내지 예 8의 방법에서, 상기 얼굴 인증 센서는 레이더 데이터가 수신되는 레이더 시스템을 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 상기 레이더 시스템이다.
예 10: 예 1 내지 예 9 중 어느 하나의 방법에서, 상기 인증 시스템은 터치 스크린 데이터 입력 컴포넌트를 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 터치 스크린 데이터 입력 컴포넌트이다.
예 11: 예 1 내지 예 10 중 어느 하나의 방법에서, 상기 방법은, 상기 레이더 데이터에 기초한 상기 관여 의도의 결정에 응답하여, 사용자 장비의 디스플레이의 전력을 제1 전력 상태에서 제2 전력 상태로 변경하는 단계를 더 포함하며, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비한다.
예 12: 예 1 내지 예 11 중 어느 하나의 방법에서, 상기 인증 시스템의 전력 소비 컴포넌트의 제2 전력 상태는 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있게 하기에 불충분하며, 상기 방법은, 관성 데이터에 기초하여 그리고 사용자 장비에 의해, 사용자 장비가 사용자에 의해 이동되었거나 이동되고 있다는 결정에 응답하여, 상기 인증 시스템의 전력 소비 컴포넌트의 전력 상태를 상기 제2 전력에서 제3 전력 상태로 변경하는 단계를 더 포함하며, 상기 제3 전력 상태는 상기 인증 시스템이 인증 프로세스를 수행할 수 있도록 하기에 충분하다.
예 13: 예 1 내지 예 11의 방법에서, 상기 인증 시스템의 전력 소비 컴포넌트의 제2 전력 상태는 전력 소비 컴포넌트에 대한 워밍업 시퀀스를 포함하고, 상기 워밍업 시퀀스는 전력 소비 컴포넌트가 인증 프로세스를 수행하기에 충분하지 않은 전력이 공급되는 기간을 포함하며, 상기 제3 전력 상태는 상기 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있도록 전력 소비 컴포넌트에 충분히 전력이 공급되는 사후 워밍업(post-warm-up) 시퀀스를 포함하며, 상기 인증 프로세스는 제3의 고전력 상태에서 전력 소비 컴포넌트를 사용하여 수행된다.
예 14: 예 1 내지 예 11 중 어느 하나의 방법에서, 상기 인증 시스템에 의해 수행되는 인증 프로세스는 전력 소비 컴포넌트로부터 수신된 센서 데이터에 기초하여 얼굴 특징을 결정하고, 상기 결정된 얼굴 특징을 사용자 장비에 로컬로 저장된 얼굴 특징 라이브러리와 비교하며, 상기 얼굴 특징 라이브러리는 상기 인증 시스템을 사용하여 사용자 장비에 의해 얼굴 특징 초기화 동안 생성된다.
예 15: 장치로서, 레이더 필드를 제공하도록 구성된 레이더 시스템; 인증 시스템; 그리고 예1 내지 예14 중 어느 한 항의 방법을 수행하도록 구성되고, 상기 레이더 시스템 및 상기 인증 시스템과 결합된, 프로세서 및 메모리 시스템을 포함할 수 있다.
예 16: 장치로서, 예 1 내지 예 14 중 어느 하나를 수행하기 위한 수단을 포함할 수 있다.
결론
IMU 및 레이더를 통한 인증 관리를 위한 기술의 구현 및 이를 가능하게 하는 장치가 기능 및/또는 방법에 특정한 언어로 설명되었지만, 첨부된 청구범위의 요지가 설명된 특정 특징 또는 방법으로 반드시 제한되는 것은 아님을 이해해야 한다. 오히려 IMU 및 레이더를 통한 인증 관리를 가능하게 하는 구현 예로서 특정 기능 및 방법을 공개한다.

Claims (15)

  1. 방법으로서,
    레이더 데이터에 기초하여 그리고 사용자 장비에 의해, 관여 의도(intent to engage)를 결정하는 단계 -상기 관여 의도는 사용자가 사용자 장비에 관여(engage)할 의도가 있음을 나타냄-;
    관여 의도의 결정에 응답하여, 인증 시스템의 전력 소비 컴포넌트의 전력 상태를 제1 전력 상태에서 제2 전력 상태로 변경하는 단계 -제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비함-; 그리고
    인증 시스템에 의해 그리고 제2 전력 상태 또는 제3의 고전력 상태에서 전력 소비 컴포넌트를 사용하여, 인증 프로세스를 수행하는 단계를 포함하며, 상기 인증 프로세스는 사용자를 인증하는 데 효과적인 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 관여 의도는 사용자가 사용자 장비를 향해 도달하고, 사용자 장비를 바라보고, 및/또는 사용자 장비를 향해 기울고 있음을 나타내는 레이더 데이터에 기초하여 결정되는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 방법은,
    사용자 장비와 일체화된 관성 측정 유닛을 통해 수신된 움직임 데이터에 기초하여, 사용자 장비의 움직임을 결정하는 단계; 그리고
    사용자 장비의 움직임의 결정에 응답하여, 디스플레이의 시각적 표현을 변경하고 및/또는 디스플레이의 터치 입력 수신 능력을 변경하는 데 효과적인 디스플레이의 전력 상태를 변경하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항 및 제2항 중 어느 한 항에 있어서, 상기 인증 프로세스는 사용자 인증 없이 제1 기간 또는 미리 설정된 반복 횟수 동안 수행되고, 상기 방법은, 사용자 장비와 통합된 관성 측정 유닛을 통해 수신된 움직임 데이터에 기초하여 사용자 장비의 움직임을 결정하는 것에 응답하여 각각 제1 기간 또는 미리 설정된 반복 횟수 후에 상기 인증 프로세스를 계속하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인증 시스템은 얼굴 인증 센서를 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 상기 얼굴 인증 센서인 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 얼굴 인증 센서는 카메라 및 적어도 하나의 적외선 또는 근적외선 이미터, 프로젝터 또는 센서를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 인증 프로세스를 수행하는 단계는 주변광이 낮거나 없는 상태에서, 카메라에 의해 감지된 반사 신호를 사용하여 사용자의 얼굴 특징을 결정하는 단계를 포함하고, 상기 반사 신호는 적외선 또는 근적외선 플러드(flood) 이미터에 의해 제공되는 적외선 또는 근적외선 신호의 적외선 또는 근적외선 반사를 포함하는 것을 특징으로 하는 방법.
  8. 제6항에 있어서, 상기 인증 프로세스를 수행하는 단계는, 상기 카메라에서 감지된 반사 신호를 이용하여 사용자의 얼굴 특징의 깊이 맵을 결정하는 단계를 포함하고, 상기 반사 신호는 적외선 또는 근적외선 프로젝터에 의해 제공되는 적외선 또는 근적외선 신호의 적외선 또는 근적외선 반사를 포함하는 것을 특징으로 하는 방법.
  9. 제5항 내지 제8항 중 어느 한 항에 있어서, 상기 얼굴 인증 센서는 레이더 데이터가 수신되는 레이더 시스템을 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 상기 레이더 시스템인 것을 특징으로 하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 인증 시스템은 터치 스크린 데이터 입력 컴포넌트를 포함하고, 상기 인증 시스템의 전력 소비 컴포넌트는 터치 스크린 데이터 입력 컴포넌트인 것을 특징으로 하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 방법은, 상기 레이더 데이터에 기초한 상기 관여 의도의 결정에 응답하여, 사용자 장비의 디스플레이의 전력을 제1 전력 상태에서 제2 전력 상태로 변경하는 단계를 더 포함하며, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비하는 것을 특징으로 하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 인증 시스템의 전력 소비 컴포넌트의 제2 전력 상태는 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있게 하기에 불충분하며, 상기 방법은,
    관성 데이터에 기초하여 그리고 사용자 장비에 의해, 사용자 장비가 사용자에 의해 이동되었거나 이동되고 있다는 결정에 응답하여, 상기 인증 시스템의 전력 소비 컴포넌트의 전력 상태를 상기 제2 전력에서 제3 전력 상태로 변경하는 단계를 더 포함하며, 상기 제3 전력 상태는 상기 인증 시스템이 인증 프로세스를 수행할 수 있도록 하기에 충분한 것을 특징으로 하는 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 인증 시스템의 전력 소비 컴포넌트의 제2 전력 상태는 전력 소비 컴포넌트에 대한 워밍업 시퀀스를 포함하고, 상기 워밍업 시퀀스는 전력 소비 컴포넌트가 인증 프로세스를 수행하기에 충분하지 않은 전력이 공급되는 기간을 포함하며,
    상기 제3 전력 상태는 상기 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있도록 전력 소비 컴포넌트에 충분히 전력이 공급되는 사후 워밍업(post-warm-up) 시퀀스를 포함하며, 상기 인증 프로세스는 제3의 고전력 상태에서 전력 소비 컴포넌트를 사용하여 수행되는 것을 특징으로 하는 방법.
  14. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 인증 시스템에 의해 수행되는 인증 프로세스는 전력 소비 컴포넌트로부터 수신된 센서 데이터에 기초하여 얼굴 특징을 결정하고, 상기 결정된 얼굴 특징을 사용자 장비에 로컬로 저장된 얼굴 특징 라이브러리와 비교하며, 상기 얼굴 특징 라이브러리는 상기 인증 시스템을 사용하여 사용자 장비에 의해 얼굴 특징 초기화 동안 생성되는 것을 특징으로 하는 방법.
  15. 장치로서,
    레이더 필드를 제공하도록 구성된 레이더 시스템;
    인증 시스템; 그리고
    제1항 내지 제14항 중 어느 한 항의 방법을 수행하도록 구성되고, 상기 레이더 시스템 및 상기 인증 시스템과 결합된, 프로세서 및 메모리 시스템을 포함하는 것을 특징으로 하는 장치.
KR1020217037702A 2019-07-26 2019-08-30 Imu 및 레이더를 통한 인증 관리 KR20210153695A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962879361P 2019-07-26 2019-07-26
US62/879,361 2019-07-26
PCT/US2019/049216 WO2021021220A1 (en) 2019-07-26 2019-08-30 Authentication management through imu and radar

Publications (1)

Publication Number Publication Date
KR20210153695A true KR20210153695A (ko) 2021-12-17

Family

ID=74187769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217037702A KR20210153695A (ko) 2019-07-26 2019-08-30 Imu 및 레이더를 통한 인증 관리

Country Status (5)

Country Link
US (2) US11288895B2 (ko)
EP (1) EP4004686A1 (ko)
JP (2) JP7316383B2 (ko)
KR (1) KR20210153695A (ko)
CN (1) CN113906367B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10797926B2 (en) * 2018-01-26 2020-10-06 California Institute Of Technology Systems and methods for communicating by modulating data on zeros
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
WO2024072467A1 (en) * 2022-09-30 2024-04-04 Google Llc Detecting user engagement

Family Cites Families (249)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6037893A (en) 1998-07-31 2000-03-14 Litton Systems, Inc. Enhanced motion compensation technique in synthetic aperture radar systems
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
ATE316658T1 (de) 1999-07-03 2006-02-15 Siemens Schweiz Ag Bewegungsmelder nach dem doppler-prinzip
US6608585B2 (en) 2001-03-02 2003-08-19 Massachusetts Institute Of Technology High-definition imaging apparatus and method
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
US7543755B2 (en) * 2001-12-28 2009-06-09 Panasonic Electric Works Co., Ltd. Electronic key, electronic locking apparatus, electronic security system, and key administering server
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
US7277706B2 (en) * 2003-02-12 2007-10-02 Nokia Corporation Provision of service contexts in a communication system
JP4314877B2 (ja) * 2003-05-12 2009-08-19 ソニー株式会社 機器間認証システム及び機器間認証方法、通信装置、並びにコンピュータ・プログラム
WO2006003590A2 (en) 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US6970128B1 (en) 2004-10-06 2005-11-29 Raytheon Company Motion compensated synthetic aperture imaging system and methods for imaging
US6990335B1 (en) * 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
IL170689A (en) 2005-09-06 2011-08-31 Camero Tech Ltd Imaging device through a wall
JP2007080219A (ja) 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20080074307A1 (en) 2006-05-17 2008-03-27 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects within a doppler radar system
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
WO2009008411A1 (ja) 2007-07-09 2009-01-15 Sony Corporation 電子機器及びその制御方法
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
KR20110114732A (ko) * 2007-09-24 2011-10-19 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US20100008031A1 (en) 2008-07-08 2010-01-14 Emblaze Mobile Ltd Ergonomic handheld device
US8154435B2 (en) 2008-08-22 2012-04-10 Microsoft Corporation Stability monitoring using synthetic aperture radar
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8516397B2 (en) 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8488413B2 (en) 2009-10-16 2013-07-16 Casio Computer Co., Ltd. Indicated position detecting apparatus and indicated position detecting method
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20150301167A1 (en) 2009-12-18 2015-10-22 Christopher Gary Sentelle Detection of movable objects
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
CN102754049B (zh) * 2010-02-11 2016-03-16 惠普发展公司，有限责任合伙企业 输入命令
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
JP2012058921A (ja) 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8483617B2 (en) 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20120270564A1 (en) 2011-04-19 2012-10-25 Qualcomm Incorporated Methods and apparatuses for use in a mobile device to detect signaling apertures within an environment
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130038564A1 (en) 2011-08-10 2013-02-14 Google Inc. Touch Sensitive Device Having Dynamic User Interface
US20130159940A1 (en) 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
US20200302732A9 (en) 2011-10-20 2020-09-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
WO2013141922A2 (en) 2011-12-20 2013-09-26 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisiton and imaging
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
KR20140027837A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스에서 사용자 인터페이스 방법
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US9785217B2 (en) 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
TWI471756B (zh) 2012-11-16 2015-02-01 Quanta Comp Inc 虛擬觸控方法
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
WO2014088621A1 (en) 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
US9075429B1 (en) 2012-12-19 2015-07-07 Amazon Technologies, Inc. Distortion correction for device display
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9448634B1 (en) 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US11017069B2 (en) 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9389641B2 (en) 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9065932B2 (en) 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
US9231765B2 (en) 2013-06-18 2016-01-05 Arm Ip Limited Trusted device
KR102517425B1 (ko) 2013-06-27 2023-03-31 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101488193B1 (ko) 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US20150070263A1 (en) 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
US20150077345A1 (en) 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
EP3050260A2 (en) 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
JP2015103020A (ja) 2013-11-25 2015-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9851896B2 (en) 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
US20150205358A1 (en) 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
EP3110606B1 (en) 2014-02-24 2021-09-15 Sony Group Corporation Smart wearable devices and methods for automatically configuring capabilities with biology and environment capture sensors
WO2015131953A1 (de) 2014-03-07 2015-09-11 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung
KR102222561B1 (ko) 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
JP6468883B2 (ja) 2014-04-10 2019-02-13 キヤノン株式会社 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体
US11039314B2 (en) 2014-04-29 2021-06-15 Taliware, Inc. Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
CN104008319B (zh) 2014-05-14 2017-11-24 深圳市汇顶科技股份有限公司 基于指纹识别的终端及其待机状态下的登录方法、系统
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
US10410630B2 (en) 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6282188B2 (ja) 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
WO2016010857A1 (en) 2014-07-18 2016-01-21 Apple Inc. Raise gesture detection in a device
US20160036996A1 (en) * 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US9633497B2 (en) 2014-09-05 2017-04-25 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for medical monitoring device gesture control lockout
US11137490B2 (en) 2014-09-16 2021-10-05 Teknologian Tutkimuskeskus Vtt Navigational aid with adaptive radar
US10559159B2 (en) 2014-09-22 2020-02-11 Igt Canada Solutions Ulc Gesture-based navigation on gaming terminal with 3D display
US9410979B2 (en) 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6249919B2 (ja) 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) * 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US10254391B2 (en) 2014-12-15 2019-04-09 Jj Corp Radar detector for recognizing user's motion
EP3234731B1 (en) 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
JP6524717B2 (ja) * 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) * 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160282934A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
US9547762B2 (en) 2015-03-30 2017-01-17 Google Inc. Authenticating user and launching an application on a single intentional user gesture
US20200364967A1 (en) 2015-04-15 2020-11-19 Richard SPICE Contactless payment terminal
KR20160123200A (ko) 2015-04-15 2016-10-25 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US9904409B2 (en) 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
JP6699658B2 (ja) 2015-04-22 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016176606A1 (en) 2015-04-30 2016-11-03 Google Inc. Type-agnostic rf signal representations
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
CN106503004B (zh) 2015-09-07 2020-09-11 腾讯科技（深圳）有限公司 一种信息处理方法及装置、终端
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US20170097684A1 (en) 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN106371569A (zh) 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
JP6707641B2 (ja) 2015-12-11 2020-06-10 ソムニック インク． 定置状態の検出によってユーザおよび／または外部装置とのインタフェースを形成する装置、システムおよび方法
DE102016100064B4 (de) * 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
CN205318531U (zh) * 2016-01-22 2016-06-15 上海云充新能源科技有限公司 电动汽车充电桩用户自动感知确认系统
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
US10161175B2 (en) 2016-02-29 2018-12-25 Ford Global Technologies, Llc Moving object detection for power door system
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170329412A1 (en) 2016-05-16 2017-11-16 Google Inc. Systems and Methods of Gesture-Based Control
CN107404628B (zh) 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR102620138B1 (ko) 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10097681B2 (en) 2016-06-14 2018-10-09 Hand Held Products, Inc. Managing energy usage in mobile devices
EP3267291B1 (en) 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
US10238976B2 (en) 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
US20180046255A1 (en) 2016-08-09 2018-02-15 Google Inc. Radar-based gestural interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
WO2018035129A1 (en) 2016-08-15 2018-02-22 Georgia Tech Research Corporation Electronic device and method of controlling the same
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10168767B2 (en) 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10928888B2 (en) 2016-11-14 2021-02-23 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10356617B2 (en) 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
WO2018209493A1 (en) * 2017-05-15 2018-11-22 Microsoft Technology Licensing, Llc. Device wake-up based on fingerprint sensor
EP3602366A1 (en) * 2017-05-15 2020-02-05 Microsoft Technology Licensing, LLC Headset with fingerprint authentication
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
EP3661758A4 (en) * 2017-07-31 2021-03-17 Hewlett-Packard Development Company, L.P. HEURISTIC-BASED ACOUSTIC EMISSIONS AND ENERGY CONSERVATION
US11030289B2 (en) 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
CN109891379B (zh) 2017-08-03 2021-06-01 华为技术有限公司 一种防误触方法及终端
JP7089020B2 (ja) 2017-08-09 2022-06-21 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 光学機器と統合された超音波生体感知デバイス
US10612936B2 (en) 2017-09-01 2020-04-07 Telenav, Inc. Navigation system with delivery mechanism and method of operation thereof
CN107580129A (zh) 2017-09-01 2018-01-12 北京小米移动软件有限公司 终端状态控制方法及装置
WO2018226265A1 (en) * 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
CN109491496A (zh) 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
US10725161B2 (en) 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
WO2019146032A1 (ja) 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN110417986B (zh) 2018-04-28 2020-10-23 华为技术有限公司 一种灭屏显示的方法及电子设备
US11027822B2 (en) 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
CN108639006A (zh) * 2018-07-04 2018-10-12 江苏吉厚智能制造有限公司 汽车尾门雷达开启系统
US10284541B1 (en) * 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
CN108958490B (zh) 2018-07-24 2021-09-17 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11310226B2 (en) 2018-12-19 2022-04-19 Paypal, Inc. Gesture and motion detection using a device radar component for user authentication
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
CN109857251A (zh) 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
KR20200101192A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 의도되지 않은 사용자 입력의 수신을 방지하는 전자 장치 및 전자 장치의 동작 방법
EP3699738B1 (en) 2019-02-19 2024-03-27 Samsung Electronics Co., Ltd. Electronic device and display control method thereof
US11379016B2 (en) * 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11496387B2 (en) 2019-06-11 2022-11-08 Zscaler, Inc. Auto re-segmentation to assign new applications in a microsegmented network
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11604891B2 (en) * 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
WO2021021220A1 (en) 2019-07-26 2021-02-04 Google Llc Authentication management through imu and radar
KR20240026524A (ko) 2019-07-26 2024-02-28 구글 엘엘씨 인증된 상태 유지하기
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
US20210103337A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
US11640208B2 (en) 2019-11-21 2023-05-02 Infineon Technologies Ag Gesture feedback in distributed neural network system
CN115079109A (zh) * 2022-06-07 2022-09-20 中国石油大学(华东) 一种合成孔径雷达成像质量指标评价系统

Also Published As

Publication number Publication date
US11288895B2 (en) 2022-03-29
US20210027049A1 (en) 2021-01-28
CN113906367B (zh) 2024-03-29
US11790693B2 (en) 2023-10-17
US20220180659A1 (en) 2022-06-09
JP2023156296A (ja) 2023-10-24
JP7316383B2 (ja) 2023-07-27
JP2022541093A (ja) 2022-09-22
CN113906367A (zh) 2022-01-07
EP4004686A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
JP7292437B2 (ja) Ｉｍｕおよびレーダーに基づいて状態を下げること
JP7316383B2 (ja) Ｉｍｕおよびレーダーを介した認証管理
KR102639579B1 (ko) 인증된 상태 유지하기
US11385722B2 (en) Robust radar-based gesture-recognition by user equipment
CN112655188B (zh) 由用户设备进行的鲁棒的基于雷达的姿势识别
US11467672B2 (en) Context-sensitive control of radar-based gesture-recognition
WO2021021220A1 (en) Authentication management through imu and radar
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
US11868537B2 (en) Robust radar-based gesture-recognition by user equipment
JP7346595B2 (ja) レーダーベースのジェスチャー認識の状況感知型制御

Legal Events

Date Code Title Description
E902 Notification of reason for refusal