KR102639579B1 - 인증된 상태 유지하기 - Google Patents

인증된 상태 유지하기 Download PDF

Info

Publication number
KR102639579B1
KR102639579B1 KR1020217040331A KR20217040331A KR102639579B1 KR 102639579 B1 KR102639579 B1 KR 102639579B1 KR 1020217040331 A KR1020217040331 A KR 1020217040331A KR 20217040331 A KR20217040331 A KR 20217040331A KR 102639579 B1 KR102639579 B1 KR 102639579B1
Authority
KR
South Korea
Prior art keywords
user
radar
state
user equipment
power
Prior art date
Application number
KR1020217040331A
Other languages
English (en)
Other versions
KR20220007881A (ko
Inventor
조한 프라그
타일러 리드 커글러
아르터 트수르칸
레오나르도 기우스티
아록 찬델
코스타 루카스 두핀 모레이라
세림 플라비오 시넥
비그네시 사치다난담
브랜든 바벨로
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020247005577A priority Critical patent/KR20240026524A/ko
Priority claimed from PCT/US2019/049208 external-priority patent/WO2021021218A1/en
Publication of KR20220007881A publication Critical patent/KR20220007881A/ko
Application granted granted Critical
Publication of KR102639579B1 publication Critical patent/KR102639579B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/26—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
    • G01S13/28—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses
    • G01S13/282—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses using a frequency modulated carrier wave
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
    • G01S7/038—Feedthrough nulling circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/2813—Means providing a modification of the radiation pattern for cancelling noise, clutter or interfering signals, e.g. side lobe suppression, side lobe blanking, null-steering arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/065—Continuous authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/68—Gesture-dependent or behaviour-dependent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

본 문서는 레이더 시스템의 레이더 데이터 및 일부 경우에 IMU(관성 측정 장치)의 센서 데이터를 기반으로 인증된 상태를 유지하기 위한 기법 및 시스템에 대해 설명한다. 기법 및 시스템은 레이더 데이터를 사용하여 사용자가 사용자 장비로부터 잠재적으로 이탈했음을 표시한 후, 사용자가 사용자 장비와 수동적으로 관여하고 있는지 여부를 결정한다. 사용자가 수동적으로 관여하고 있다고 결정하면, 기법과 시스템은 인증된 상태를 유지한다. 이 인증된 상태를 유지함으로써, 기법은 사용자 장비와 사용자의 관여에 대응하도록 사용자 장비의 상태를 관리하여, 전력을 절약하고 사용자 경험을 개선할 수 있다.

Description

인증된 상태 유지하기
스마트폰, 웨어러블 컴퓨터 및 태블릿과 같은 사용자 장비는 종종 디바이스에 대한 액세스를 허용하기 전에 사용자 인증을 요구한다. 일단 사용자 장비가 사용자를 인증하면, 사용자 장비는 사용자가 사용자 장비의 다양한 데이터, 애플리케이션 및 기능에 액세스하는 인증된 상태에 진입한다.
사용자가 자신의 디바이스와 점점 더 자주 인터렉션함에 따라 일부 사용자는 자신의 디바이스에 대해 하루에 수십 또는 수백 번 자신을 인증하므로, 이 인증된 상태를 관리하는 것의 중요성이 계속 증가하고 있다. 사용자가 액세스를 유지하려고 할 때 인증 상태를 유지하지 못하거나 적절한 경우 인증 해제에 실패하는 것과 같이 이 인증된 상태를 관리하는 과정에서 발생하는 모든 오류는 점점 더 문제가 되고 있다.
본 문서는 인증된 상태를 유지하기 위한 기법과 시스템을 설명한다. 기법과 시스템은 레이더 데이터 및 일부 경우에 IMU(관성 측정 장치)의 관성 센서 데이터를 사용하여 인증된 상태를 유지할 때를 결정함으로써 일부 현재 기법이 사용자를 인증 해제하는 경우에 사용자가 자신의 사용자 장비에 대한 액세스를 유지할 수 있도록 한다. 이러한 기법과 시스템은 전력을 절약하고 사용자 경험을 개선하거나 사용자의 개인 정보를 더 잘 보호한다.
예를 들어, 사용자 장비의 인증된 상태 동안 사용자 장비와의 사용자의 잠재적 이탈을 결정하는 방법이 설명된다. 이 인증된 상태는 사용자 장비의 데이터, 애플리케이션, 기능, 계정 또는 컴포넌트에 대한 사용자의 액세스를 허용한다. 방법은 또한 상기 사용자 장비에 의해, 레이더 데이터에 기초하여, 상기 사용자 장비와의 상기 사용자의 수동적 관여를 결정한다. 방법은 상기 사용자 장비와의 상기 사용자의 수동적 관여의 결정에 응답하여, 상기 인증된 상태를 유지한다.
본 문서는 또한 위에서 요약된 방법 및 본 명세서에 설명된 다른 방법을 수행하기 위한 명령어를 포함하는 컴퓨터 판독가능 매체, 뿐만 아니라 상기 방법들을 수행하기 위한 시스템 및 수단을 설명한다.
이 요약은 인증된 상태를 유지하기 위한 단순화된 개념을 소개하기 위해 제공되며, 이는 아래의 상세한 설명 및 도면에서 추가로 설명된다. 본 요약은 청구된 발명의 필수적 구성을 식별하기 위한 것이 아니며, 청구된 발명의 범위를 결정하는데 사용하도록 의도된 것도 아니다.
인증된 상태를 유지하기 위한 하나 이상의 양태의 세부 사항은 다음 도면을 참조하여 이 문서에서 설명된다. 도면 전체에서 동일한 구성 및 컴포넌트를 참조하기 위해 동일한 번호가 사용된다.
도 1은 인증된 상태를 유지하기 위한 기법이 구현될 수 있는 예시적 환경을 도시한다.
도 2는 도 1에 설명된 인증 시스템의 예를 도시한다.
도 3은 도 2의 인증 시스템에 의해 인증된 예시적인 사용자를 도시한다.
도 4는 사용자 장비에 관여하려는 사용자 의도의 결정에 응답하여 인증 시스템의 전력 상태를 포함하여, 상태를 변경할 수 있는 도 1의 사용자 장비의 구현예를 도시한다.
도 5는 사용자 장비의 예시적 정보, 전력 및 액세스 상태를 도시한다.
도 6-1은 컴퓨팅 디바이스의 일부로서 예시적 레이더 시스템을 도시한다.
도 6-2는 예시적 트랜시버 및 프로세서를 도시한다.
도 6-3은 전력 소비, 제스처 프레임 업데이트 레이트 및 응답 지연 간의 관계 예를 도시한다.
도 6-4는 예시적 프레임 구조를 도시한다.
도 7는 도 6-1의 레이더 시스템을 위한 수신 안테나 엘리먼트의 예시적 구성을 도시한다.
도 8는 도 6-1의 레이더 시스템의 예시적 구현예의 추가적 세부사항을 도시한다.
도 9은 도 6-1의 레이더 시스템에 의해 구현될 수 있는 예시적 스키마를 도시한다.
도 10은 IMU 및/또는 레이더를 통한 인증 관리를 위한 예시적 방법을 도시한다.
도 11은 인증 관리를 위한 예시적인 시나리오를 도시한다.
도 12는 사용자 장비의 상태를 감소시키기 위한 예시적 방법을 도시한다.
도 13은 사용자 장비의 상태를 감소시키기 위한 예시적 시나리오를 도시한다.
도 14는 인증된 상태를 유지하기 위한 예시적 방법을 도시한다.
도 15는 인증된 상태를 유지하기 위한 예시적 시나리오를 도시한다.
도 16은 인증된 상태를 유지하기 위한 다른 예시적 시나리오를 도시한다.
개요
본 문서는 레이더 시스템의 레이더 데이터 및 일부 경우에 IMU(관성 측정 장치)의 센서 데이터를 기반으로 인증된 상태를 유지하기 위한 기법 및 시스템에 대해 설명한다. 기법 및 시스템은 레이더 데이터를 사용하여 사용자가 사용자 장비로부터 잠재적으로 이탈했음을 표시한 후, 사용자가 사용자 장비와 수동적으로 관여하고 있는지 여부를 결정한다. 사용자가 수동적으로 관여하고 있다고 결정하면, 기법과 시스템은 인증된 상태를 유지한다. 이 인증된 상태를 유지함으로써, 기법은 사용자 장비와 사용자의 관여에 대응하도록 사용자 장비의 상태를 관리하여, 전력을 절약하고 사용자 경험을 개선할 수 있다.
또한, 비-사용자의 존재 또는 사용자 장비와 관여하려는 의도에 응답하여 사용자 장비의 인증을 해제함으로써, 부당한 액세스를 줄이고, 비-사용자에게 제공되는 정보의 양을 줄이는 대체 기법이 개시되며, 이 둘 모두는 사용자의 프라이버시를 보호하는데 도움이 된다.
개시된 기법과 대조적으로, 종래의 사용자 장비는 종종 사용자 장비(UE)와의 사용자의 관여를 정확하게 결정할 수 없다. 이러한 UE는 그렇게 할 수 없지만 보안을 유지하기 위해 UE를 인증 해제해야 하기 때문에 현재 기법은 시간 기간이 만료되면 UE를 잠근다. 많은 기존 기법에서 이 기간은 사용자가 터치 감지 디스플레이를 터치하는 것과 같이 모바일 디바이스의 센서를 터치하거나 버튼을 누르지 않은 기간이다. 따라서, 기존 기법은 사용자로부터 명백한 입력이 수신되지 않을 때 종종 타이머를 시작하고, 명백한 입력 없이 타이머가 만료되면 UE를 인증 해제한다. 그러나 이 해결책은 사용자가 여전히 사용자 장비에의 관여를 유지하거나 최소한 인증된 상태를 유지하기를 원하는 경우 사용자를 인증 해제할 수 있다. 현재 해결책은 사용자가 원하지 않는 경우 인증을 해제하기 때문에, 재인증을 수행해야 함으로 인하여 사용자 경험을 감소시키고 재인증을 수행하는데 전력이 낭비된다.
일례로, 사용자가 태블릿 컴퓨터가 인증된 상태에 있는 동안 책상 위의 책에 태블릿을 놓고 볼 영화를 선택한 다음 다시 앉아서 영화를 본다고 가정한다. 종래 기법은 종종 타이머를 시작한 다음 사용자의 명백한 입력 없이 타이머가 만료된 후 사용자 장비의 인증을 해제한다. 일반적으로 기간이 5분이면 사용자의 장치가 인증을 해제한다(예: "잠금"). 사용자가 사용자 장치에 액세스하려면 다시 인증해야 한다. 이것은 열악한 사용자 경험을 제공하고 전력을 낭비하여 종종 배터리 수명을 단축시키고, 사용자 장비에 대한 사용자 경험을 더욱 감소시킨다.
이러한 종래의 기법과 대조적으로, 설명된 기법은 레이더 데이터에 기초하여 사용자가 태블릿 컴퓨터를 계속 쳐다보고 있다고 결정하는 것과 같이 사용자가 사용자 장비와 수동적으로 관여하고 있다고 결정한다. 이 수동적 관여에 기초하여, 기법은 인증된 상태를 유지하므로 사용자가 재인증 없이 사용자 장비에 액세스할 수 있다.
이것은 설명된 기법 및 디바이스를 사용하여 인증 상태를 유지하는 방법의 한 예일 뿐이다. 본 문서 전체에 걸쳐 다른 예시와 구현예가 설명된다. 본 문서는 이제 예시적 동작 환경을 설명하고 그 후에 예시적 디바이스, 방법 및 시스템이 설명된다.
동작 환경
도 1은 인증된 상태를 유지하기 위한 기법이 구현될 수 있는 예시적 환경(100)을 도시한다. 예시적 환경(100)은 레이더 시스템(104), 레이더 관리자(106), 관성 측정 유닛(IMU)(108), 움직임 관리자(110), 상태 관리자(112), 인증 시스템(114) 및 디스플레이(116)를 포함하거나 이와 연관된 사용자 장비(UE)(102)(예를 들어, 스마트폰)를 포함한다.
예시적 환경(100)에서, 레이더 시스템(104)은 도 7 내지 9을 참조하여 후술되는 바와 같이, 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(118)를 제공한다. 레이더 필드(118)는 레이더 시스템(104)이 레이더 신호 및 파형의 반사를 검출할 수 있는 공간의 볼륨이다(예를 들어, 공간의 볼륨에서 객체로부터 반사된 레이더 신호 및 파형, 본 명세서에서 레이더 데이터로 일반적으로 지칭됨). 레이더 시스템(104)은 또한 UE(102) 또는 다른 전자 디바이스가 레이더 필드(118) 내의 반사로부터 이 레이더 데이터를 감지하고 분석할 수 있게 한다. 레이더 필드(118)는 다양한 형상 및 형태 중 임의의 것을 취할 수 있다. 예를 들어, 레이더 필드(118)는 도 1 및 도 7를 참조하여 설명된 바와 같은 형상을 가질 수 있다. 다른 경우에, 레이더 필드(118)는 레이더 시스템(104)으로부터 연장되는 반경, 레이더 시스템(104) 주위의 체적(예를 들어, 구, 반구, 부분 구, 빔, 또는 원뿔)의 형상 또는 불균일한 형상(예를 들어, 레이더 필드(118)의 장애물로부터의 간섭을 수용하기 위해)을 취할 수 있다. 레이더 필드(118)는 수 인치에서 12 피트(3에서 4미터 내)와 같은 레이더 시스템(104)으로부터의 다양한 거리 중 임의의 것을 확장할 수 있다. 레이더 필드(118)는 미리 정의되거나, 사용자가 선택가능하거나 또는 다른 방법을 통해 결정될 수 있다(예를 들어, 전력 요구사항, 남은 배터리 수명, 또는 다른 인자에 기초하여).
레이더 필드(118)에서 사용자(120)로부터의 반사는 레이더 시스템(104)이 사용자(120)의 신체 포지션 및 자세와 같은 사용자(120)에 관한 다양한 정보를 결정할 수 있게 하며, 이는 다양한 상이한 비언어적 신체 언어 큐, 신체 포지션 또는 몸의 자세를 표시한다. 큐, 포지션 및 자세는 UE(102)를 기준으로 한 사용자(120)의 절대 포지션 또는 거리, UE(102)를 기준으로 한 사용자(120)의 포지션 또는 거리의 변화(예를 들어, 사용자(120) 또는 사용자의 손 또는 사용자(120)가 쥐고 있는 객체가 UE(102)에 가까워지거나 멀어지는지 여부), UE(102)를 향하거나 그로부터 멀어지는 사용자(120)(예: 손 또는 비-사용자 객체)의 속도, 사용자(120)가 UE(102)를 향하여 또는 그로부터 멀어지게 돌아서는지 여부, 사용자(120)가 UE(102)를 향해 기울이는지, 흔드는지, 다가오는지 또는 UE(102)를 가리키는지 여부 등을 포함할 수 있다. 이러한 반사는 또한 레이더 데이터(예: 사용자 얼굴의 산란 중심) 분석을 통해 사람의 신원과 같은 인증을 결정하거나 인증에 확신을 더하기 위해 분석될 수 있다.
레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터에 기초하여, UE(102)와의 관여, 이탈 또는 관여를 유지하려는 사용자의 의도를 결정하도록 구성된다. 사용자의 의도는 손이나 팔이 뻗는 방향, 바라보는 눈의 움직임, UE(102)를 향하는 머리나 얼굴의 움직임에 기초하는 것과 같이 위에서 언급된 다양한 큐, 포지션, 자세 및 거리/속도로부터 추론된다. 손 또는 팔의 뻗음의 경우, 레이더 관리자(106)는 사용자가 UE(102)를 만지거나 집어 올릴 가능성이 있는 의도를 표시하는 방식으로 사용자가 손을 뻗거나 팔을 향하고 있다고 결정한다. 예시들은 무선으로 부착된 스피커의 볼륨 버튼을 향해 손을 뻗는 사용자, 태블릿 컴퓨터와 연관된 무선 또는 유선 마우스를 향해 뻗는 손 또는 UE(102) 자체를 향해 뻗는 손을 포함한다. 이 손 뻗음(reach)는 손 움직임 단독, 팔과 손 움직임 또는 팔의 손이 UE(102)를 만지거나 잡을 수 있게 하는 방식으로 팔을 구부리거나 곧게 펴는 것에 기초하여 결정될 수 있다. 도 14-16에서 언급되는 바와 같이, 이러한 관여 의도 결정은 인증 여부에 관계없이 비-사용자 또는 사용자에 대한 것일 수 있다.
사용자의 관여 의도는 또한 UE(102) 또는 일부 경우에 UE(102)의 연관된 주변기기를 보거나 얼굴을 향하도록 하는 사용자의 머리 또는 눈의 움직임에 기초하여 추론될 수 있다. UE(102)를 바라보는 사용자의 눈의 움직임에 대해, 레이더 관리자(106)는 사용자의 눈의 추적과 같이 사용자의 눈이 UE(102)의 방향을 보고 있다고 결정한다. 사용자의 머리가 UE(102) 쪽으로 얼굴을 향하게 하는 움직임에 대해(예를 들어, 안면 방향), 레이더 관리자(106)는 다양한 포인트(예를 들어, 아래에 언급된 바와 같은 산란 중심)가 사용자의 얼굴이 UE(102)를 가리키도록 현재 지향되어 있다고 결정한다. 따라서 사용자는 레이더 관리자(106)가 사용자가 UE(102)에의 관여(또는 이탈 또는 관여 유지)를 의도한다는 것을 결정하게 하기 위해 UE(102)의 버튼 또는 터치 종속적 제스처(예: 터치 패드 또는 화면) 또는 터치 독립적 제스처(예: 레이더 시스템(104) 사용)를 활성화(누르기)와 같이 UE(102)를 제어 또는 활성화하도록 구성된 액션을 수행할 필요가 없다.
위에서 언급된 바와 같이, 레이더 관리자(106)는 또한 UE(102)에의 관여를 벗어나려는 사용자의 의도를 결정하도록 구성된다. 레이더 관리자(106)는 사용자의 손 또는 팔이 UE(102)로부터 멀어지고 있음(예를 들어, 후퇴함)을 나타내는 레이더 데이터, UE(102)로부터 멀어지는 눈의 움직임 또는 UE(102)로부터 멀어지는 머리 또는 얼굴의 움직임(예를 들어, UE(102)를 바라보는 것에서 멀어지는 안면 방향 변경)로부터 추론되어, 사용자의 관여 의도와 유사하게 사용자의 이탈 의도를 결정한다. 사용자의 이탈 의도를 결정하기 위한 추가 방식은 위에서 언급한 관여의 반대 또는 중단뿐 아니라, 사용자가 멀리 걸어갔거나, 신체를 멀리 이동했거나, 연관되지 않은 다른 객체 또는 디바이스와 관여했음을 나타내는 레이더 데이터이다. 따라서, 레이더 관리자(106)는 사용자에 의해 어떤 다른 객체, 디바이스 또는 사용자 장비에 관여하려는 의도를 결정하는 것에 기초하여 UE(102)와 이탈 의도를 결정할 수 있다. 예를 들어, 사용자가 스마트폰을 보고 인터렉션한다고 가정한다. 해당 스마트폰에서 이탈하려는 의도를 나타내는 과여 의도의 예는 사용자가 스마트폰 대신 TV 화면을 보거나 물리적으로 가까이 있는 사람과 대화를 시작하거나 관여가 전자책이나 미디어 플레이어와 같은 스마트폰에의 관여를 대체할 가능성이 있는 다른 디바이스를 향해 손을 뻗는 것을 포함한다.
레이더 관리자(106)는 또한 UE(102)와의 관여를 유지하려는 사용자의 의도를 결정하도록 구성된다. 이러한 관여 유지는 능동적이거나 수동적일 수 있다. 능동적 관여의 경우, 레이더 관리자(106)는 레이더 데이터에 기초하여 사용자가 터치 독립 제스처 등을 통해 인터렉션하고 있음을 결정할 수 있다. 레이더 관리자(106)는 또한 또는 대신에 비-레이더 데이터(예를 들어, UE(102)의 다른 컴포넌트로부터의 도움으로 수행됨)를 통해 능동적 관여를 결정할 수 있다. 이러한 비-레이더 데이터는 사용자가 UE(102) 또는 주변기기에 데이터를 입력하거나 제어하고 있다는 표시를 포함한다. 따라서, 터치, 타이핑 또는 오디오 데이터를 통해 사용자는 디스플레이(116)의 터치 스크린 입력을 통해 터치(예: 소프트 키보드를 탭하거나 제스처를 수행)하거나 주변기기 키보드를 타이핑하는 것으로 결정되거나 오디오 입력을 말하는 것으로 결정되었다. 수동적 관여를 유지하기 위해, 레이더 관리자(106)는 독립적으로 또는 UE(102)의 다른 컴포넌트의 도움을 통해, 사용자가 콘텐츠를 소비하고 있거나 UE(102)를 향해 얼굴을 가리키는 것, 디스플레이(116)를 보고 있거나, UE(102)의 디스플레이가 사용자 또는 제3자에 의해 보이도록 배향하는 방식으로 UE(102)를 들고 있는 것과 같이 콘텐츠를 소비하도록 UE(102)를 다른 사람에게 제공하고 있다고 결정한다. 수동적 관여를 유지하는 다른 예는 사용자(120)가 UE(102)의 도달 범위(예를 들어, 2, 1.5, 1, 또는 1미터의 1/2) 내에 있다고 결정하는 레이더 관리자(106)를 통한 것과 같은 사용자의 존재를 포함한다. 레이더 관리자(106)가 수동적으로 및 능동적으로 참여, 이탈 또는 참여 유지를 하려는 사용자의 의도를 결정하는 예시적인 방식의 세부사항은 아래에서 설명된다.
또한, 레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터를 사용하여 사용자에 의해 수행된 제스처도 결정할 수 있다. 이러한 제스처는 사용자가 테이블, 디스플레이(116) 또는 셔츠 소매와 같은 일부 표면을 터치하는 것 또는 터치 독립적 제스처를 포함할 수 있다. 터치 독립적 제스처는 공중에서, 3차원으로 및/또는 손이나 손가락이 입력 디바이스를 터치할 필요 없이 수행될 수 있지만 일부 객체를 터치하는 것을 배제하지는 않는다. 이러한 제스처는 레이더 데이터에 기초하여 결정될 수 있고, 그 다음 UE(102)에 대한 입력으로서 또는 UE(102)와의 참여를 나타내기 위해 사용될 수 있다. 제스처의 예는 수화와 유사한(예: ASL 또는 미국 수화) 다양한 복잡한 단일 손 또는 여러 손 제스처 또는 왼쪽, 오른쪽, 위로 또는 아래로 스와이프, 평평한 손으로 올리거나 내리거나(예: UE(102) 또는 UE(102)를 통해 제어되는 텔레비전 또는 스테레오의 음악 볼륨을 높이거나 낮추기 위해), 앞으로 또는 뒤로(예: 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 스와이프) 스와이프하여 음악 및 비디오 트랙을 변경하고, 알람을 일시 중지하고, 전화를 끊거나, 게임을 하는 것을 포함한다. 이들은 이러한 제스처에 의해 제어될 수 있고 레이더 시스템(104) 및 레이더 관리자(106)를 통해 활성화되는 많은 예시적인 제스처 및 기능 중 일부에 불과하다. 따라서, 이 문서가 참여 및 상태 관리에 관한 것이지만, 이 문서의 어떤 것도 레이더 시스템(104) 및 레이더 관리자(106)가 제스처 인식을 위해 구성될 수 없다는 것을 나타내기 위해 잘못 해석되어서는 안 된다.
IMU(108)는 움직임을 측정하도록 구성된 다양한 디바이스들 중 하나일 수 있으며, 여기에는 세 축(예: X, Y 및 Z) 각각에 대한 피치, 롤 및 요를 포함하여 특정 힘, 각속도, 방향, 진동, 가속도, 속도 및 위치를 포함하도록 정의된다. IMU(108)는 가속도계, 자이로스코프 및/또는 자력계와 같은 UE(102) 내의 하나 또는 다수의 디바이스일 수 있다.
움직임 관리자(110)는 IMU(108)로부터의 관성 데이터에 기초하여 UE(102)의 움직임을 결정하도록 구성된다. 예시적 움직임은 들어올려지는(예를 들어, 픽업되는) UE(102), 사용자(120)를 향하거나 사용자로부터 멀어지는 방향 및 진동을 포함한다. 예시적 움직임은 UE(102)의 사용자(120)에 의한 물리적 접촉의 중단, 무생물(예를 들어, 테이블, 자동차 콘솔, 소파 팔, 베개, 바닥, 도킹 스테이션) 상의 UE(102)의 배치 및 동봉된 컨테이너, 예를 들어 주머니, 가방, 또는 지갑 내의 UE(102)의 배치를 나타낼 수 있다.
이러한 움직임은 UE(102)와의 사용자의 잠재적 참여, 이탈 또는 참여 유지를 나타낼 수 있다. 예를 들어, UE(102)의 움직임은 사용자 장비가 사용자(120)를 향하여 이동하거나 지향하거나 사용자(120)로부터 멀어지는 방향으로 이동하고 있음, 너무 빠르게 이동하고 있거나 많은 가능성 있는 유형에 대해 인터렉션하기에 너무 빠르게 움직임을 변경하고 있음, 사용자(120)가 들고 있음(인간의 자연스러운 움직임, 호흡, 심장 박동을 통해), 기계적 또는 비사용자 소스(예: 차량의 진동, UE(102)를 흔드는 주변 소리, UE(102)를 진동하게 하는 음악)로 인해 진동하고 있음을 나타낼 수 있다. 따라서, UE(102)와의 잠재적인 이탈을 나타낼 수 있는 멀어지는 배향은 사용자(120)가 디스플레이(116)를 보고 있을 가능성이 있었던 이전 배향이 이제 보고 있지 않을 가능성이 있도록 UE(102)의 배향 변경을 포함할 수 있다. 사용자(120)가 한 방향으로 타이핑 또는 읽기를 한 다음 전화기를 뒤집거나 옆으로 돌리거나 주머니에 넣는 등은 배향이 멀어져 잠재적인 이탈을 나타내는 움직임의 한 예일 뿐이다. 유지된 참여를 나타낼 수 있는 예시적인 움직임은 사용자가 UE(102)의 들고 있거나 해당 배향이 UE(102)와의 참여를 이전에 나타내거나 일치했던 UE(102)에 대한 사용자의 배향을 유지하고 있음을 나타내는 진동을 포함한다.
디스플레이(116)는 터치스크린, 액정 디스플레이(LCD), TFT LCD, IPS LCD, 용량성 터치스크린 디스플레이, OLDE 디스플레이, AMOLED 디스플레이, 수퍼 AMOLED 디스플레이 등과 같은 임의의 적합한 디스플레이 디바이스를 포함할 수 있다. 언급된 바와 같이, 디스플레이(116)는 터치 입력 전원이 있는 완전 포화, 터치 입력 전원이 없는 감소된 포화 및 저포화 및 저전력(예: 회색 클록) 또는 무전원과 같은 다양한 레벨에서 전원이 공급될 수 있다.
상태 관리자(112)는 전력, 액세스 및 정보 상태와 같은 UE(102)의 상태를 관리한다. UE(102) 및 그 컴포넌트의 이러한 관리는 레이더 관리자(106) 및 움직임 관리자(110)에 의해 이루어진 결정에 기초하여 수행된다. 예를 들어, 상태 관리자(112)는 패스워드를 입력하기 위해 사용자(120)로부터 터치 입력을 수신할 것을 예상하여 전력을 증가시키도록 UE(102)의 디스플레이(116), 인증에 사용되는 계산을 수행하기 위한 컴퓨터 프로세서 또는 이미지 기반 안면 인증을 수행하기 위한 이미징 시스템, 레이더(예: 레이더 시스템(104)) 또는 기타 컴포넌트를 변경함으로써 인증 시스템(114)의 컴포넌트의 전력을 관리할 수 있다.
언급된 바와 같이, UE(102)의 이러한 관리는 각각 UE(102)의 참여, 이탈 또는 참여 유지 의도 및 움직임을 결정하는 레이더 관리자(106) 및 움직임 관리자(110)에 의한 결정에 기초한다. 상태 관리자(112)는 이러한 결정에만 기초하거나 현재 상태, 현재 참여, 실행 중인 애플리케이션 및 이러한 애플리케이션에 의해 표시되는 콘텐츠 등과 같은 다른 정보에 기초하여 그렇게 할 수 있다. 또한, 레이더 관리자(106)가 사용자의 의도를 결정할 수 있고 움직임 관리자(110)가 움직임을 결정할 수 있지만, 그 중 일부는 UE(102)와 참여하려는 사용자의 의도를 나타내도록 결정되지만, 상태 관리자(112)는 이들의 두 결정을 모두 사용하여, 사용자의 의도가 UE(102)와 참여, 이탈 또는 참여 유지하는 것이라는 전반적인 결정의 정확성, 견고성 및/또는 속도를 개선할 수 있다.
레이더 관리자(106) 및 움직임 관리자(110)의 두 결정의 이러한 사용은 UE(102)의 상태를 관리하는 일부로서 함께 또는 단계적으로 수행될 수 있거나, 이들 중 하나가 단독으로 사용될 수 있다. 예를 들어, UE(102)가 인증에 사용되는 컴포넌트에 대한 저전력 상태에 있다고 가정한다. 레이더 관리자(106)는 사용자(120)가 UE(102)를 향한 움직임 또는 UE(102)를 향한 리치(reach)에 기초하여 UE(102)와 인증할 의도가 있다고 결정할 수 있다. 일부 경우에 이것만으로는 상태 관리자(112)가 UE(102)가 높은 전력 상태로 변경되게 하기에는 상태 관리자(112)가 불충분하다고 간주된다. 따라서, 상태 관리자(112)는 인증 컴포넌트의 일부가 높은 전력 상태(예를 들어, 도 5의 높은 전력 상태(504-1))보다는 중간 상태로 전력이 공급되게 할 수 있다. 예를 들어, 인증 시스템(114)이 안면 인식을 수행하기 위해 적외선 센서를 사용하는 경우, 상태 관리자(112)는 사용자를 인증할 것을 예상하고 센서 및 디스플레이(116)를 높은 전력으로 하고, 디스플레이(116)의 경우에 UE(102)가 "웨이크업" 중이고 따라서 점점 더 응답적임을 사용자에게 표시한다. 추가 단계로서, 상태 관리자(112)는 인증 컴포넌트(여기서는 적외선 센서)의 전원을 완전히 켜기 전에 움직임 관리자(110)가 사용자가 UE(102)를 이동, 집기, 들어올리기 등을 했다고 결정할 때까지 기다릴 수 있다. 요구되지는 않지만, 상태 관리자(112)는 사용자로부터의 추가 입력 없이 컴포넌트에 의해 인증이 시도되도록 할 수 있고, 이에 의해 사용자(120)에 대한 인증을 끊김없게 만들 수 있다.
그러나, 일부 경우에, 상태 관리자(112)는 전력을 증가시키거나 그렇지 않으면 관성 데이터 및 레이더 데이터 둘 다에 응답하여 UE(102)의 상태를 준비하도록 결정하는데, 예를 들어 레이더 관리자(106)는 사용자가 참여할 의도가 있다고 결정하고 움직임 관리자(110)는 사용자가 UE(102)를 픽업하고 있다고 결정한다.
따라서, 상태 관리자(112)는 사용자가 방금 UE(102)를 터치하기 시작했다는 움직임 관리자(110)에 의한 표시와 같이 사용자의 의도가 UE(102)를 집어서 참여하는 것이라는 더 높은 수준의 신뢰까지 기다릴 수 있다. 그러한 경우에, 상태 관리자(112)는 단지 레이더 관리자(106)의 결정에 기초하여 전력을 증가시킬 수 있지만, 움직임 관리자(110)가 사용자에 의한 터치가 컴포넌트들의 완전한 전력을 표시할 때까지 기다리는 대신에 디스플레이 또는 인증 시스템(114) 또는 그 컴포넌트의 중간 전력 레벨로 전력을 증가시킬 수 있다. 그러나, 언급된 바와 같이, 상태 관리자(112)는 레이더 데이터에 기초한 참여 의도의 결정에 대해서만 상태를 더 높은 전력 레벨로 변경하거나 레이더 데이터에 기초하여 이탈 의도의 결정에 대해서만 이러한 레벨을 낮출 수 있다.
상태 관리자(112)가 UE(102)의 상태를 (예를 들어, 인증된 상태를 유지하기 위해) 관리할 수 있는 많은 예시적인 방식 중 하나가 예시적인 환경(100-1, 100-2, 100-3)에서 도 1에 도시되어 있다.
환경(100-1)에서, 사용자(120)가 그의 스마트폰이 인증된 상태(122)에 있는 동안 책상에 앉아서 그의 스마트폰을 책상 위에 놓았다고 가정한다. 그 다음 100-2와 같이 뒤로 앉아 책을 읽는다. 통상적인 기법은 종종 타이머를 시작하고, 그 예는 124에 도시되어 있으며, 그 다음 타이머(124)가 사용자로부터 명백한 입력 없이 만료된 후 인증을 해제하고 디바이스의 상태를 변경한다. 일반적인 바와 같이, 시간 기간이 5분이면, UE(102)는 5분 후에 인증을 해제(예를 들어, "잠금")한다. 사용자(120)가 UE(102)에 액세스하기를 원하면 재인증해야 한다. 이것은 열악한 사용자 경험을 제공하고 전력을 낭비하여 종종 배터리 수명을 단축시키고, 사용자 장비에 대한 사용자 경험을 더욱 감소시킨다.
종래 기법과 대조적으로, 타이머(124)의 만료 시에, 100-3에 도시된 바와 같이, UE(102)는 인증된 상태(122)에 남아 있다. 인증된 상태(122)를 유지하기 위해, 레이더 시스템(104)은 레이더 필드(118)를 제공하며, 이로부터 사용자(120)가 존재(이 경우 팔의 범위 내에 있음)하거나 사용자(120)가 수동적으로 참여되었음(예를 들어, UE(102)를 잡거나 바라보는 것, 본 경우는 아님)을 나타내는 레이더 데이터가 수신된다. 레이더 관리자(106)는 이 레이더 데이터에 기초하여 이 경우에 사용자(120)가 팔의 범위 내에 있다고 결정한다. 레이더 관리자(106)는 이 결정을 상태 관리자(112)에 전달하고, 상태 관리자(112)는 잠재적인 이탈(타이머(124) 만료)이 이전에 결정되었음에도 불구하고 인증된 상태(122)를 유지한다.
이것은 기법과 시스템이 사용자에게 원활한 사용자 경험을 제공하는 방법의 한 예일 뿐 아니라 사용자의 시간뿐만 아니라 전력 및 배터리 수명도 절약할 수 있다.
이 예에서 인증된 상태(122)는 상태 관리자(112)에 의해 유지되며, 전력 및 정보 상태는 감소된 것으로 도시되지 않음에 유의한다. 전력 및 정보 상태는 유지 또는 감소될 수 있으며, 그 예는 아래에 자세히 설명되어 있다.
또한, 이 예에서 잠재적인 이탈은 타이머(124) 만료에 기초하여 상태 관리자(112)에 의해 결정된다. 테이블 상의 UE(102)의 배치에 기초하여 다른 잠재적인 이탈이 대신에(또는 또한) 결정될 수 있다. 이러한 배치는 IMU(108)가 감지하고 관성 데이터를 움직임 관리자(110)에 제공한다. 움직임 관리자(110)는 이 관성 데이터에 기초하여 UE(102)가 이동했음을 결정한다. 이 시점에서, 움직임 관리자(110)는 이 움직임 결정을 레이더 관리자(106)(수동적 참여를 결정하기 위해) 또는 상태 관리자(112)에 전달할 수 있다. 타이머(124)가 만료되거나 움직임을 나타내는 움직임 데이터 후에, 레이더 관리자(106)는 위에서 언급한 바와 같이 사용자가 수동적으로 참여하고 있다고 결정한다.
상태 관리자(112)는 인증된 상태를 유지할 수 있을 뿐만 아니라, 상태 관리자(112)는 UE(102)의 상태를 증가 또는 감소시킬 수 있다. 전력 상태를 증가시키는 상세한 예로서, 도 2에 도시된 인증 시스템(114)을 고려한다. 이것은 몇 가지 예를 들자면, 터치 감지 디스플레이를 통한 비밀번호 입력, 레이더 시스템(104)을 사용한 레이더 인증 또는 지문 판독기와 같은 상태 관리자(112)에 의해 제어 가능한 다른 인증 시스템이 고려되는 한 예일 뿐이다.
인증 시스템(114)의 이 예는 UE(102)(스마트폰으로 도시됨)의 내부(200)를 보여주는 것으로 도시된다. 도시된 구성에서, UE(102)는 레이더 시스템(104)의 레이더 집적 회로(202), 스피커(204), 전면 카메라(206), 근접 센서(208) 및 주변 광 센서(210)를 포함한다. UE(102)는 또한 근적외선(NIR) 투광 조명기(214) 및 근적외선(NIR) 도트 프로젝터(216)를 포함하는 안면 잠금 해제 센서(212)를 포함하며, 둘 모두는 사용자에게 적외선 또는 근적외선 광을 투사한다. 안면 잠근 해제 센서(212)는 또한 UE(102)의 반대편에 위치된 2개의 NIR 카메라(218-1, 218-2)를 포함한다. NIR 카메라(218-1, 218-2)는 사용자에 의해 반사되는 적외선 및 근적외선을 감지한다. 이 반사된 근적외선 빛은 얼굴 피처를 결정하는 데 사용될 수 있으며 이러한 피처들을 통해 이전에 저장된 얼굴 피처 정보와 비교하여 사용자가 진위 여부를 결정할 수 있다. 예를 들어, NIR 투광 조명기(214)는 사용자(및 다른 객체)로부터 반사를 수신할 때 이미지를 제공하는 NIR 광으로 환경을 "투광"한다. 이 이미지는 주변 조명이 낮거나 없는 경우에도 사용자의 얼굴을 포함하므로 얼굴 피처를 결정하는데 사용될 수 있다. NIR 도트 프로젝터(216)는 사용자 얼굴의 피처를 포함하는 객체의 깊이를 결정하기 위해 분석될 수 있는 NIR 광 반사를 제공한다. 따라서, 사용자에 대한 깊이 맵(예를 들어, 스펙트럼 깊이 맵)이 생성될 수 있고(예를 들어, 이전에 얼굴 인증을 설정할 때) 현재 깊이 맵이 결정되고 저장된, 이전에 생성된 깊이 맵과 비교될 수 있다. 이 깊이 맵은 (사용자의 실제 얼굴이 아닌) 사용자의 얼굴의 사진 또는 기타 2차원 렌더링의 인증을 방지하는데 도움이 된다.
사용자의 얼굴 피처의 이러한 매핑은 UE(102)에 안전하게 저장될 수 있고, 사용자의 선호에 기초하여 UE(102)에서 보관되어 외부 엔터티에 사용 가능하게 되는 것이 방지될 수 있다.
인증 시스템(114)은 얼굴 잠금 해제 센서(212)를 포함하지만, 또한 전면 카메라(206), 근접 센서(208) 및 주변 광 센서(210)와 같은 다른 컴포넌트는 물론 센서 데이터 등을 저장, 캐시 또는 버퍼링하기 위해 데이터, 메모리(여러 전원 상태를 가질 수 있음)를 분석하기 위한 프로세서들을 포함한다.
얼굴 잠금 해제 센서(212)는 IR(적외선) 및 NIR(근적외선) 데이터를 감지하여 얼굴 인식을 수행하며, 이는 기법이 아래에 설명된 방법에 명시된 대로 사용자를 인증하고 이에 따라 액세스 상태를 변경(예를 들어, UE(102)의 잠금을 해제하기 위해)할 수 있는 한 가지 방식이다. 전력을 절약하기 위해, 얼굴 잠금 해제 센서(212)는 사용하지 않을 때 저전력 상태(단순히 꺼질 수도 있음)에서 작동한다. 특히, 근적외선 투광 조명기(214) 및 근적외선 도트 프로젝터(216)는 오프 상태에서 발광하지 않는다. 그러나, NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)에 대해 낮은 전력 또는 무전력 상태에서 중간 전력 상태 및/또는 높은 전력 상태로의 전환과 연관된 워밍업 시퀀스가 사용될 수 있다. 이러한 컴포넌트 중 하나 또는 둘 모두의 전력 레벨을 높이면 사용자 인증 대기 시간을 0.5초 이상 줄일 수 있다. 많은 사용자가 매일 디바이스를 인증하는 횟수가 수십, 수백 번이라는 점을 감안할 때 사용자의 시간을 절약하고 경험을 개선할 수 있다. 본 명세서에 언급된 바와 같이, 이 시간 지연은 레이더 시스템(104)에 의해 제공되는 레이더 데이터에 기초하여 사용자가 그들의 디바이스에 참여할 의도가 있다고 판단하는 레이더 관리자(106)에 의해 감소된다. 이것은 상태 관리자(112)에 의해 관리된다. 실제로, 이 기법은 워밍업 시퀀스에 참여하고 개시하려는 사용자의 의도를 사전에 검출한다. 기법은 사용자가 UE(102)를 터치하기 전에도 그렇게 할 수 있지만, 이것이 필수는 아니다. 따라서, 이 기법은 NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)가 사용자를 인증하는데 사용하기에 충분히 전력을 공급받을 수 있게 하고, 이는 사용자가 얼굴 인식이 완료되기를 기다리는데 소비하는 시간을 줄인다.
UE(102)의 다른 컴포넌트로 이동하기 전에 얼굴 잠금 해제 센서(212)의 양태를 고려한다. 인증 시스템(114)의 이 예시적인 컴포넌트는 디스플레이(116)의 평면에 대해 10도만큼 작은 각도에서 안면 인식을 사용하여 사용자를 인증할 수 있다. 따라서, 사용자는 70 내지 110도 또는 80 내지 100도의 각도와 같이 전화기를 들고 센서를 얼굴로 돌릴 필요가 없고, 대신 얼굴 잠금 해제 센서(212)를 사용하는 인증 시스템(114)은 사용자가 UE(102)를 픽업하기 전에 사용자를 인증하도록 구성된다. 이것은 사용자(120)를 나타내는 도 3에 도시되어 있으며, 얼굴 인식에 사용되는 얼굴 부분(예: 턱, 코 또는 광대뼈)이 디스플레이(116)의 평면(304)에 상대적으로 10도만큼 작을 수 있는 각도(302)로 도시된다. 또한 도시된 바와 같이, 사용자(120)는 얼굴 거리(306)에서 도시된 바와 같이 얼굴 잠금 해제 센서(212)로부터 1미터 이상 떨어져 있는 얼굴을 갖는 동안 인증된다. 그렇게 함으로써, 기법은 UE(102)가 거꾸로 또는 이상한 각도로 배향된 경우에도 거의 매끄럽고 즉각적인 인증을 허용한다.
보다 구체적으로, 인증 상태를 유지하기 위한 기법 및 다른 기법을 구현할 수 있는 UE(102)(레이더 관리자(106), 움직임 관리자(110) 및 상태 관리자(112) 포함)의 예시적 구현예(400)를 도시하는 도 4를 고려한다. 도 4의 UE(102)는 UE(102-1), 태블릿(102-2), 랩톱(102-3), 데스크톱 컴퓨터(102-4), 컴퓨팅 워치(102-5), 컴퓨팅 안경(102-6), 게임 시스템(102-7), 홈 자동화 및 제어 시스템(102-8) 및 전자레인지(102-9)를 포함하는 다양한 예시적 디바이스들을 도시한다. UE(102)는 또한 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 자동차, 드론, 트랙 패드, 드로잉 패드, 넷북, 전자 판독기, 홈 보안 시스템 및 기타 가전 제품과 같은 다른 디바이스들을 포함할 수 있다. UE(102)는 웨어러블, 비-웨어러블이지만 모바일 또는 상대적으로 비이동형 디바이스(예를 들어, 데스크톱 및 기기)일 수 있다.
UE(102)의 예시적 전체 측면 치수는 대략 8cm x 대략 15cm일 수 있다. 레이더 시스템(104)의 예시적 풋프린트는 안테나가 포함된 대략 4mm x 6mm와 같이 훨씬 더 제한될 수 있다. 전력 및 프로세싱 제한과 결합된 그러한 공간-제한된 패키지에서 UE(102)의 많은 다른 원하는 구성을 제공하기 위해 필요한 레이더 시스템(104)에 대한 그러한 제한된 풋프린트의 요구사항은 레이더 제스처 검출의 정확성 및 효율성에서 타협을 초래할 수 있으며, 그 중 적어도 일부는 본 명세서의 교시에 비추어 극복될 수 있다.
UE(102)는 또한 하나 이상의 컴퓨터 프로세서(402) 및 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 판독가능 매체(404)를 포함한다. 컴퓨터 판독가능 매체(404) 상의 컴퓨터 판독가능 명령어로서 구현된 애플리케이션 및/또는 운영 체제(도시되지 않음)는 컴퓨터 프로세서(402)에 의해 실행되어 레이더 관리자(106), 움직임 관리자(110) 및 상태 관리자(112)의 기능(필수는 아니지만 컴퓨터 판독가능 매체(404) 내에 도시됨)의 기능의 전부 또는 일부와 같은 본 명세서에 기술된 기능의 일부 또는 전부를 제공할 수 있다.
UE(102)는 네트워크 인터페이스(406)를 포함할 수 있다. UE(102)는 유선, 무선 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(406)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(406)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 영역 네트워크(PAN), 광역 통신망(WAN), 인트라넷, 인터넷, 피어 투 피어 네트워크, 지점 간 네트워크 또는 메시 네트워크를 통해 데이터를 통신할 수 있다.
양태들에서, 레이더 시스템(104)은 하드웨어에서 적어도 부분적으로 구현된다. 레이더 시스템(104)의 다양한 구현예는 SoC(System-on-Chip), 하나 이상의 집적 회로(IC), 내장 프로세서 명령어를 갖는 프로세서 또는 메모리에 저장된 프로세서 명령어에 액세스하도록 구성된 프로세서, 내장 펌웨어를 갖는 하드웨어, 다양한 하드웨어 컴포넌트들을 갖는 인쇄 회로 기판 또는 이들의 임의의 조합을 포함할 수 있다. 레이더 시스템(104)은 자신의 레이더 신호를 송신 및 수신함으로써 단일 정적 레이더로서 동작할 수 있다. 일부 구현예에서, 레이더 시스템(104)은 또한 외부 환경 내에 있는 다른 레이더 시스템(104)과 협력하여 바이스태틱 레이더, 멀티스태틱 레이더 또는 네트워크 레이더를 구현할 수 있다. 그러나, UE(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 줄 수 있다. UE(102)는 예를 들어 레이더를 동작하는데 사용가능한 제한된 전력, 제한된 계산 능력, 크기 제약, 레이아웃 제한, 레이더 신호를 감쇄 또는 왜곡시키는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 아래에 더 설명되는 바와 같이, 이러한 제약의 존재 하에서 개선된 레이더 기능 및 고성능이 실현될 수 있게 하는 여러 구성을 포함한다.
상태 관리자(112)가 작동할 수 있는 추가적인 예시적 방식을 설정하기 전에, UE(102)가 동작할 수 있고 상태 관리자(112)에 의해 관리될 수 있는 많은 정보, 전력 및 액세스 상태를 예시하는 도 5를 고려한다.
도 5는 UE(102)가 동작할 수 있는 액세스, 정보 및 전력 상태를 예시하며, 이들 각각은 설명된 기법에 의해 관리될 수 있다. 디바이스 상태(500)의 이러한 예시적 레벨 및 유형은 시각적 간결성을 위해 세 가지 수준의 세분성으로 표시되지만 액세스 상태(502), 전력 상태(504) 및 정보 상태(506)에 대해 각각의 많은 레벨이 고려된다. 액세스 상태(502)는 세 가지 수준의 세분성, 높은 액세스 상태(502-1), 중간 액세스 상태(502-2) 및 낮은 액세스 상태(502-3)로 도시된다. 유사하게, 전력 상태(504)는 세 가지 수준의 세분성, 높은 전력 상태(504-1), 중간 전력 상태(504-2) 및 낮은 전력 상태(504-3)로 도시된다. 유사하게, 정보 상태(506)는 세 가지 수준의 세분성, 높은 정보 상태(506-1), 중간 정보 상태(506-2) 및 낮은 정보 상태(506-3)로 도시된다.
더 상세하게는 액세스 상태(502)는 UE(102)의 데이터, 애플리케이션, 기능, 계정, 또는 컴포넌트에 대해 디바이스의 사용자가 이용할 수 있는 액세스 권한과 관련된다. 이 액세스는 높을 수 있으며, UE(102)에 대한 "잠금 해제" 상태라고도 한다. 이 높은 액세스 수준은 단순히 디바이스의 애플리케이션 및 기능을 포함할 수 있거나, UE(102)를 통해 액세스할 수 있는 은행 계좌, 소셜 미디어 계정 등과 같은 다양한 계정에 대한 액세스를 포함할 수 있다. UE(102)와 같은 많은 컴퓨팅 디바이스는 높은 액세스 상태(502-1)와 같은 높은 액세스를 제공하기 위해 인증을 필요로 한다.
다양한 중간 레벨의 액세스(예를 들어, 502-2)가 (예를 들어, 사용자 선호도 또는 운영 체제 디폴트 설정에 따라) UE(102)에 의한 인증과 함께 또는 인증 없이 허용될 수 있다. 이 중간 액세스 상태(502-2)는 사용자가 UE(102)의 모든 계정, 서비스 또는 컴포넌트에 액세스하는 것은 아니지만 일부에 액세스하는 것을 허용한다. 예를 들어 사용자가 사진을 찍을 수는 있지만 이전에 캡처한 사진에 액세스할 수는 없다. 다른 예는 사용자가 전화를 받을 수 있지만 전화를 걸 때 연락처 목록에 액세스할 수는 없다. 이는 중간 액세스 상태(502-2)로 도시된 UE(102)가 허용할 수 있는 많은 중간 권한 중 일부에 불과하다.
인증된 상태(122)는 위에서 언급한 바와 같이 UE(102)에 의해 허용된 액세스와 관련된다. 따라서 사용자가 인증된 다음 액세스 권한이 부여된다. 이 문서 전체에 걸쳐 언급된 바와 같이, 설명된 기법 및 시스템은 더 나은 보안을 가능하게 하며, 여기서 UE(102)에 대한 액세스는 사용자에게 더 쉽고 액세스 권한이 서드파티가 아닌 인증된 사용자에게 부여될 가능성이 더 높인다. 이 인증 상태(122)는 위에서 언급하고 높은 액세스 상태(502-1) 및 중간 액세스 상태(502-2)를 포함하여 점선 박스로 도 5에 도시된 바와 같이 높은 액세스 상태(502-1) 또는 중간 액세스 상태(502-2)와 같은 높은 또는 중간 레벨의 액세스를 허용할 수 있다.
마지막으로, 액세스 상태(502)는 낮은 액세스 상태(502-3)로 도시된 액세스 허용을 억제할 수 있다. 이 경우 디바이스가 켜져 있고, 알람과 같은 알림을 보내 사용자를 깨우는 등의 작업을 할 수 있지만, UE(102)의 기능에 대한 액세스를 허용하지 않을 수 있다(또는 UE(102)가 단순히 꺼져 있어 액세스를 허용하지 않을 수 있음).
전력 상태(504)는 세 가지 수준의 세분성, 높은 전력 상태(504-1), 중간 전력 상태(504-2) 및 낮은 전력 상태(504-3)로 도시된다. 전력 상태(504)는 레이더 시스템(104), 디스플레이(116)와 같은 UE(102)의 하나 이상의 컴포넌트 또는 프로세서, 카메라, 마이크로폰, 음성 어시스턴트, 터치스크린, 센서, 레이더 및 인증 시스템(114)의 일부인 컴포넌트(또한 앞서 나열된 컴포넌트를 포함할 수 있음)와 같은 다른 전력-소비 컴포넌트에 대한 전력량과 관련된다. 일반적으로, 전력 상태(504)뿐만 아니라 컴포넌트에 전력을 공급하는 맥락에서, 용어 전력, 전력 공급, 전력 증가, 전력 감소 등은 전력 관리 집적 회로(PMIC)의 제어; PMIC에서 확장되는 전원 레일 관리; 파워 레일, PMIC 및 하나 이상의 회로 컴포넌트(예: 언급된 NIR 컴포넌트, 카메라, 디스플레이 및 레이더) 사이의 개폐 스위치; 및 인가된 전압을 램핑(ramping) 또는 분배하거나 돌입 전류를 관리하는 것을 포함할 수 있는 컴포넌트를 정확하고 안전하게 작동하기 위한 공급 전압을 제공하는 것을 포함할 수 있다.
레이더 시스템(104)과 관련하여, 전력 상태(504)는 상이한 듀티 사이클에서 레이더 데이터를 수집함으로써(예를 들어, 더 낮은 주파수는 더 적은 전력을 사용할 수 있고 더 높은 주파수는 더 많은 전력을 사용할 수 있음), 컴포넌트가 활성 상태가 아닐 때 다양한 컴포넌트를 끄거나, 전력 증폭 레벨을 조정함으로써 감소될 수 있다. 그렇게 함으로써, 레이더 시스템(104)은 높은 전력 상태(504-1)에서 대략 90mW의 전력, 중간 전력 상태(504-2)에서 30 내지 60mW, 또는 낮은 전력 상태(504-3)에서 30mW 미만을 사용할 수 있다(예를 들어, 레이더 시스템(104)은 사용자 존재와 같은 일부 사용 가능한 레이더 데이터를 여전히 제공하면서 2 내지 20mW에서 작동할 수 있음). 이러한 전력 사용 레벨은 각각 다른 해상도와 거리를 허용한다. 레이더 시스템(104)(및 UE(102))의 전력 관리에 관한 추가 세부사항은 도 6-1을 참조하여 설명된다.
위에서 언급된 상태 변경의 맥락에서, 상태 관리자(112)는 레이더 관리자(106) 및 움직임 관리자(110)에 의한 결정에 기초하여 UE(102)의 다양한 컴포넌트에 대한 전력을 증가 또는 감소시킬 수 있다.
예를 들어, 상태 관리자(112)는 인증 시스템(114) 또는 디스플레이(116)의 전력을 낮은 전력 상태로부터 변경할 수 있다(예를 들어, 낮은 전력 상태(504-3)에서 중간 전력 상태(504-2)로 또는 이들 중 하나로부터 높은 전력 상태(504-1)로 변경할 수 있다). 그렇게 함으로써, UE(102)는 사용자와 더 빨리 또는 더 쉽게 참여시키거나 사용자를 인증할 수 있다. 따라서, 상태 관리자(112)는 전력 상태(504)를 UE(102)의 시스템 또는 UE(102)와 연관된 특정 전력 소비 엔터티에 대한 현재의 경우보다 더 높거나 더 낮은 전력이 되도록 변경할 수 있다. 얼굴 잠금 해제 센서(212) 및 그 컴포넌트, NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216), NIR 카메라(218-1 및 218-2)의 전력을 높이거나 낮추는 것, 이러한 컴포넌트, 디스플레이, 마이크, 터치 입력 센서 등에 대한 전력을 감소시키는 것을 포함하여, 예시적 컴포넌트가 위 도 2의 일부로서 추가로 설명된다.
UE(102)의 제3 예시적 상태는 정보 상태(506)이며, 이는 높은 정보 상태(506-1), 중간 정보 상태(506-2) 및 낮은 정보 상태(506-3)로 예시된다. 더 상세하게는, 정보 상태(506)는 사용자, 예를 들어, 도 1의 사용자(120)과 가은 사용자에게 제공되는 정보의 양에 관한 것이다. 알림의 맥락에서, 높은 정보 상태(506-1)는 가장 높은 레벨의 정보를 제공하고, 일반적으로 UE(102)가 잠금 해제되거나 인증되지 않았거나 인증 없이도 높은 레벨의 정보를 제공하기 위한 사용자 선호도가 있다고 가정한다. 예는 높은 정보 상태(506-1)의 경우 호출자의 이름, 번호 및 호출이 수신될 때 연관된 이미지를 표시하는 것을 포함한다. 유사하게, 문자나 이메일 또는 다른 유형의 메시지가 수신될 때, 콘텐츠는 디스플레이(116) 또는 오디오 스피커, 주변기기 등을 통해 자동으로 제시된다. 이는 사용자의 선호에 따라 어떠한 참여가 요구되는지 결정될 수 있지만 높은 레벨의 참여를 가정한다. 여기에서 사용자의 참여와 제공되는 정보의 양 사이에 일부 상관관계가 있다고 가정하므로 참여를 결정함으로써 기법은 해당 결정에 제시되는 정보를 조정할 수 있다. 감소된 정보의 예, 예를 들어 중간 정보 상태(506-2)는 전화가 수신되면 발신자의 이름/식별이 아닌 벨소리를 표시하는 것, 문자 메시지 또는 이메일이 수신되었지만 제목만 나타내는 것, 또는 전체가 아닌 주소 또는 본문 내용의 일부만 나타내는 것을 포함한다. 낮은 정보 상태(506-3)는 사용자(120)와 개인적으로 관련된 정보를 거의 또는 전혀 나타내지 않지만, 현재 날짜, 시간, 기상 조건, 배터리 전력 상태, 또는 UE(102)가 켜져 있는지를 표시하는 디스플레이(116)와 같이 일반적이거나 널리 알려진 상식 또는 민감하지 않은 정보를 포함할 수 있다. 낮은 정보 상태(506-3)의 다른 예는 메시지 수신을 표시하는 가청음 "핑" 또는 호출에 대한 벨소리로 메시지가 수신된 경우 이름, 번호 또는 발신자에 대한 기타 정보가 아닌 빈 화면 또는 검은색 화면을 포함한다.
도 6-1는 레이더 시스템(104)의 예시적 구현예(600)를 도시한다. 예시(600)에서, 레이더 시스템(104)은 통신 인터페이스(602), 안테나 어레이(604), 트랜시버(606), 프로세서(608) 및 시스템 미디어(610)(예를 들어, 하나 이상의 컴퓨터 판독가능 저장 매체) 중 적어도 하나를 포함한다. 프로세서(608)는 디지털 신호 프로세서, 제어기, 애플리케이션 프로세서, 다른 프로세서(예를 들어, UE(102)의 컴퓨터 프로세서(402)) 또는 이들의 일부 조합으로 구현될 수 있다. UE(102)의 컴퓨터 판독가능 매체(404) 내에 포함되거나 이와 별개인 시스템 미디어(610)는 감쇠 완화기(614), 디지털 빔 형성기(616), 각도 추정기(618) 또는 전력 관리 모듈(620) 중 하나 이상을 포함할 수 있다. 이들 모듈은 UE(102) 내에 레이더 시스템(104)을 통합함으로써 그 영향을 보상 또는 완화할 수 있어, 레이더 시스템(104)이 작거나 복잡한 제스처를 인식하고, 사용자의 서로 다른 배향(예: 리치)을 구별하며, 외부 환경을 지속적으로 모니터링하거나 또는 타겟 오경보률을 달성하게 한다. 이들 구성에 의해, 레이더 시스템(104)은 도 4에 도시된 디바이스들과 같은 다양한 다른 디바이스들 내에서 구현될 수 있다.
통신 인터페이스(602)를 사용하여, 레이더 시스템(104)은 레이더 데이터를 레이더 관리자(106)에 제공할 수 있다. 통신 인터페이스(602)는 UE(102)와 별개로 구현되거나 내장된 레이더 시스템(104)에 기초한 무선 또는 유선 인터페이스일 수 있다. 애플리케이션에 따라, 레이더 데이터는 원시 또는 최소 프로세싱된 데이터, 동 위상 및 직교(I/Q) 데이터, 범위-도플러 데이터, 타겟 위치 정보(예를 들어, 범위, 방위각, 고도)를 포함하는 프로세싱된 데이터, 클러터 지도 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 상태 관리자(112)에 참여, 이탈 또는 참여 유지의 사용자 의도를 제공하기 위해 레이더 관리자(106)에 의해 사용 가능한 정보를 포함한다.
안테나 어레이(604)는 적어도 하나의 전송 안테나 엘리먼트(도시되지 않음) 및 적어도 2개의 수신 안테나 엘리먼트(도 7에 도시됨)를 포함한다. 일부 경우에, 안테나 어레이(604)는 한 번에 다수의 별개의 파형을 전송할 수 있는(예를 들어, 전송 안테나 엘리먼트마다 상이한 파형) 다중 입력 다중 출력(MIMO) 레이더를 구현하기 위해 다수의 전송 안테나 엘리먼트를 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬 수 있다. 수신 안테나 엘리먼트는 3개 이상의 수신 안테나 엘리먼트를 포함하는 구현을 위해 1차원 형상(예를 들어, 라인) 또는 2차원 형상으로 포지셔닝될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예를 들어, 방위각 또는 고도)를 측정할 수 있게 하고, 2차원 형상은 2개의 각도 치수가 측정될 수 있게 한다(예를 들어, 방위각 및 고도 모두). 수신 안테나 엘리먼트의 예시적 2차원 구성이 도 7과 관련하여 추가로 설명된다.
도 6-2는 예시적 트랜시버(606) 및 프로세서(608)을 도시한다. 트랜시버(606)는 레이더 시스템(104)의 동작 상태에 따라 전력 관리 모듈(620)을 통해 개별적으로 켜거나 끌 수 있는 다수의 컴포넌트를 포함한다. 전력 관리 모듈(620)은 상태 관리자(112)가 사용자를 인증하는데 사용되는 컴포넌트(예를 들어, 인증 시스템(114))의 전원을 켜거나 끄는 경우와 같이 상태 관리자(112)의 제어 하에 분리되거나 통합될 수 있다. 트랜시버(606)는 활성 컴포넌트(622), 전압 제어 발진기(VCO) 및 전압 제어 버퍼(624), 멀티플렉서(626), 아날로그-디지털 변환기(ADC)(628), 위상 고정 루프(PLL)(630) 및 수정 발진기(632)의 각각의 컴포넌트 중 적어도 하나를 포함하는 것으로 도시되어 있다. 켜지면, 레이더 시스템(104)이 레이더 신호를 송신 또는 수신하기 위해 이들 컴포넌트를 능동적으로 사용하지 않더라도, 이들 컴포넌트 각각은 전력을 소비한다. 활성 컴포넌트(622)는 예를 들어 공급 전압에 연결된 증폭기 또는 필터를 포함할 수 있다. VCO(624)는 PLL(630)에 의해 제공되는 제어 전압에 기초한 주파수-변조 레이더 신호를 생성한다. 수정 발진기(632)는 레이더 시스템(104) 내에서 신호 생성, 주파수 변환(예를 들어, 상향변환 또는 하향변환) 또는 타이밍 동작을 위한 기준 신호를 생성한다. 이러한 컴포넌트를 켜거나 끄면, 전력 관리 모듈(620)은 레이더 시스템(104)이 활성 및 비활성 동작 상태 사이를 신속하게 전환하고 다양한 비활성 기간 동안 전력을 보존할 수 있게 한다. 이러한 비활성 기간은 마이크로초(μs), 밀리초(ms) 또는 초(s) 정도일 수 있다.
프로세서(608)는 저전력 프로세서(608-1) 및 고전력 프로세서(608-2)와 같이 상이한 양의 전력을 소비하는 다수의 프로세서를 포함하는 것으로 도시되어 있다. 예를 들어, 저전력 프로세서(608-1)는 레이더 시스템(104) 내에 내장된 프로세서를 포함할 수 있고, 고전력 프로세서는 레이더 시스템(104) 외부에 있는 컴퓨터 프로세서(402) 또는 일부 다른 프로세서를 포함할 수 있다. 전력 소비의 차이는 사용 가능한 메모리 또는 계산 능력의 양이 다르기 때문에 발생할 수 있다. 예를 들어, 저전력 프로세서(608-1)는 고전력 프로세서(608-2)에 비해 더 적은 메모리를 이용하거나, 더 적은 계산을 수행하거나, 더 간단한 알고리즘을 이용할 수 있다. 이러한 제한에도 불구하고, 저전력 프로세서(608-1)는 근접 검출 또는 모션 검출과 같은 덜 복잡한 레이더 기반 애플리케이션(206)을 위한 데이터를 프로세싱할 수 있다(관성 데이터가 아닌 레이더 데이터에 기초하여). 대조적으로, 고전력 프로세서(608-2)는 많은 양의 메모리를 활용하거나, 많은 양의 계산을 수행하거나, 복잡한 신호 프로세싱, 추적 또는 기계 학습 알고리즘을 실행할 수 있다. 고전력 프로세서(608-2)는 에어 제스처 인식, 얼굴 인식(인증 시스템(114) 용)과 같은 하이-프로필 레이더 기반 애플리케이션(206)을 위한 데이터를 프로세싱하고, 각도 모호성의 해상도 또는 다수의 사용자들 및 그들의 피처들의 구별을 통해 정확한 고해상도 데이터를 제공할 수 있다.
전력을 절약하기 위해, 전력 관리 모듈(620)은 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2)가 레이더 데이터를 프로세싱하는데 사용되는지 여부를 제어할 수 있다. 일부 경우에 저전력 프로세서(608-1)는 분석의 일부를 수행하고, 데이터를 고전력 프로세서(608-2)에 전달할 수 있다. 예시적 데이터는 클러터 맵, 원시 또는 최소한으로 프로세싱된 레이더 데이터(예: 동위상 및 직교 데이터 또는 거리 도플러 데이터) 또는 디지털 빔포밍 데이터를 포함할 수 있다. 저전력 프로세서(608-1)는 또한 고전력 프로세서(608-2)이 분석할 환경에 관심 있는 것이 있는지 여부를 결정하기 위해 일부 저레벨 분석을 수행할 수 있다. 이러한 방식으로, 고전력 프로세서(608-2)의 동작을 제한함으로써 전력을 절약할 수 있으며, 레이더 기반 애플리케이션에서 고충실도 또는 정확한 레이더 데이터가 요청되는 상황에 고전력 프로세서(608-2)를 활용한다. 레이더 시스템(104) 내에서 전력 소비에 영향을 미칠 수 있는 다른 요인들은 도 6-1과 관련하여 추가로 설명된다.
이들 및 다른 능력 및 구성 뿐만 아니라 도 1, 2, 4 및 6-9의 엔터티가 동작하고 인터렉션하는 방식이 아래에 더 자세히 설명된다. 이들 엔터티는 추가로 분할되거나 결합될 수 있다. 도 1의 환경(100) 및 도 2 내지 9의 상세한 설명은 기술된 기법을 이용할 수 있는 많은 가능한 환경 및 디바이스들 중 일부를 도시한다. 도 6-9은 레이더 시스템(104)의 추가 세부 사항 및 구성을 설명한다. 도 6-9에서, 레이더 시스템(104)은 UE(102)와 관련하여 기술되지만, 위에서 언급된 바와 같이, 기술된 시스템 및 기법의 구성 및 장점의 적용가능성은 반드시 그렇게 제한되는 것은 아니며, 다른 유형의 전자 디바이스들을 포함하는 다른 실시예들도 본 교시의 범위 내에 있을 수 있다.
도 7은 수신 안테나 엘리먼트(702)의 예시적 구성(700)을 도시한다. 안테나 어레이(604)가 적어도 7개의 수신 안테나 엘리먼트(702)를 포함하면, 예를 들어, 수신 안테나 엘리먼트(702)는 도 7의 중앙에 도시된 바와 같이, 직사각형 배열(704-1)으로 구성될 수 있다. 대안적으로, 안테나 어레이(604)가 3개 이상의 수신 안테나 엘리먼트(702)를 포함하는 경우, 삼각 배열(704-2) 또는 L자 배열(704-3)이 사용될 수 있다.
UE(102)의 크기 또는 레이아웃 제약으로 인해, 수신 안테나 엘리먼트(702) 사이의 엘리먼트 간격 또는 수신 안테나 엘리먼트(702)의 수량은 레이더 시스템(104)이 모니터링할 각도에 이상적이지 않을 수 있다. 특히, 엘리먼트 간격은 각도 모호성이 존재하게 하여 종래의 레이더가 타겟의 각도 포지션을 추정하는 것을 어렵게 할 수 있다. 따라서, 종래의 레이더는 각도 모호성을 갖는 모호한 구역을 피하여 오검출을 감소시키기 위해 시야(예를 들어, 모니터링될 각도)를 제한할 수 있다. 예를 들어, 종래의 레이더는 8mm의 파장 및 6.5mm의 엘리먼트 간격을 사용하여 발생하는 각 모호성을 피하기 위해 시야를 약 -45도 내지 45도 사이의 각도로 제한할 수 있다(예를 들어, 엘리먼트 간격은 파장의 90%). 결과적으로, 종래의 레이더는 시야각의 45도 한계를 초과하는 표적을 검출하지 못할 수 있다. 대조적으로, 레이더 시스템(104)은 각도 모호성을 해결하고 레이더 시스템(104)이 대략 -90도 내지 90도 사이의 각도 또는 최대 약 -180도 및 180 도와 같이, 45도 한계를 초과하는 각도를 모니터링 할 수 있게 하는 디지털 빔 형성기(616) 및 각도 추정기(618)를 포함한다. 이들 각도 범위는 하나 이상의 방향(예를 들어, 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 동일한 엘리먼트 간격을 포함하여 다양한 상이한 안테나 어레이 설계에 대해 낮은 오경보율을 실현할 수 있다.
안테나 어레이(604)를 사용하여, 레이더 시스템(104)은 조향되거나 조향되지 않거나, 넓거나 좁거나, 형상화된 빔을 형성할 수 있다(예를 들어, 반구, 큐브, 팬, 원뿔 또는 실린더로서). 예시로서, 하나 이상의 전송 안테나 엘리먼트(미도시)는 조향되지 않은 전방향성 방사 패턴을 가질 수 있거나 또는 넓은 전송 빔(706)과 같은 넓은 빔을 생성할 수 있다. 이들 기법 중 어느 하나는 레이더 시스템(104)이 많은 공간을 조명할 수 있게 한다. 그러나, 타겟 각도 정확도 및 각도 해상도를 달성하기 위해, 수신 안테나 엘리먼트(702) 및 디지털 빔 형성기(616)는 좁은 수신 빔(708)과 같은 좁고 조향된 수천개의 빔(예를 들어, 3000 빔, 7000 빔 또는 9000 빔)을 생성하는데 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사의 도달각을 정확하게 결정할 수 있다.
도 6-1으로 돌아가면, 트랜시버(606)는 안테나 어레이(604)를 통해 레이더 신호를 전송 및 수신하기 위한 회로 및 로직을 포함한다. 트랜시버(606)의 컴포넌트는 레이더 신호를 컨디셔닝하기 위한 증폭기, 믹서, 스위치, 아날로그-디지털 변환기, 필터 등을 포함할 수 있다. 트랜시버(606)는 또한 변조 또는 복조와 같은 동상/직교(I/Q) 동작을 수행하는 로직을 포함할 수 있다. 트랜시버(606)는 연속파 레이더 동작 또는 펄스 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 계단형 주파수 변조 또는 위상 변조를 포함하여 다양한 변조를 사용하여 레이더 신호를 생성할 수 있다.
트랜시버(606)는 1기가 헤르츠(GHz) 내지 400GHz, 4GHz 내지 100GHz, 또는 57GHz 내지 63GHz 사이와 같은 주파수 범위(예를 들어, 주파수 스펙트럼) 내에서 레이더 신호를 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 상이한 대역폭을 갖는 다중 서브 스펙트럼으로 분할될 수 있다. 대역폭은 500MHz, 1GHz, 2GHz 등의 정도일 수 있다. 예로서, 상이한 주파수 서브 스펙트럼은 대략 57GHz 내지 59GHz, 59GHz 내지 61GHz, 또는 61GHz 내지 63GHz 사이의 주파수를 포함할 수 있다. 동일한 대역폭을 갖고 연속적이거나 비연속적일 수 있는 다중 주파수 서브 스펙트럼이 또한 일관성을 위해 선택될 수 있다. 다중 주파수 서브 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 동시에 전송되거나 시간적으로 분리될 수 있다. 연속적 주파수 서브 스펙트럼은 레이더 신호가 더 넓은 대역폭을 갖도록 하며, 비연속적 주파수 서브 스펙트럼은 각도 추정기(618)가 각도 모호성을 해결하게 하는 진폭 및 위상 차이를 더 강조할 수 있다. 감쇠 완화기(614) 또는 각도 추정기(618)는 도 8 내지 도 9에 대해 더 설명된 바와 같이, 트랜시버(606)가 레이더 시스템(104)의 성능을 향상시키기 위해 하나 이상의 주파수 서브 스펙트럼을 활용하게 할 수 있다. 기법의 일부 실시예는 UE(102)가 핸드헬드 스마트폰일 때, 레이더 신호가 57Ghz - 64Ghz 대역이고, 피크 유효 등방성 복사 전력(EIRP)이 10dBm-20dBm(10mW - 100mW) 범위에 있고, 평균 전력 스펙트럼 밀도는 IMU 및 레이더를 통한 인증 관리에 대해 설명된 방법이 전력을 절약하면서 특히 우수한 시간 절약 편의성을 제공하는 스마트폰 및 사용자 주변의 레이더 검출의 적절한 크기의 레이더 "거품"(예: 최소 1미터 및 종종 최대 2미터 초과)을 제공하는 동시에 방사선 상태 및 공존 문제를 적절하게 해결하는 것으로 밝혀진 약 13dBm/MHz인 경우 특히 유리하다.
전력 관리 모듈(620)은 성능과 전력 소비의 균형을 맞추기 위해 전력 사용을 관리한다. 예를 들어, 전력 관리 모듈(620)은 레이더 관리자(106)와 통신하여 레이더 시스템(104)이 미리 정의된 레이더 전력 상태를 사용하여 데이터를 수집하게 한다. 각 미리 정의된 레이더 전력 상태는 특정 프레이밍 구조, 특정 전송 전력 레벨 또는 특정한 하드웨어(예를 들어, 도 6-2의 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2))와 연관될 수 있다. 이들 중 하나 이상을 조정하면 레이더 시스템(104)의 전력 소비에 영향을 준다. 그러나 아래에 설명되는 바와 같이, 전력 소비를 줄이면, 제스처 프레임 업데이트 레이트 및 응답 지연과 같은 성능에 영향을 준다.
도 6-3은 전력 소비, 제스처 프레임 업데이트 속도(634) 및 응답 지연 간의 예시적 관계를 도시한다. 그래프(636)에서, 레이더 전력 상태(638-1, 638-2 및 638-3)은 서로 다른 레벨의 전력 소비 및 서로 다른 제스처 프레임 업데이트 레이트(634)와 연관된다. 제스처 프레임 업데이트 레이트(634)는 레이더 시스템(104)이 하나 이상의 레이더 신호를 전송 및 수신함으로써 외부 환경을 얼마나 자주 능동적으로 모니터링할지를 나타낸다. 일반적으로 전력 소비는 제스처 프레임 업데이트 레이트(634)에 비례한다. 이와 같이, 제스처 프레임 업데이트 레이트(634)가 높을수록 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비된다.
그래프(636)에서, 레이더 전력 상태(638-1)는 가장 적은 양의 전력을 사용하는 반면, 레이더 전력 상태(638-3)는 가장 많은 양의 전력을 소비한다. 예를 들어, 레이더 전력 상태(638-1)는 몇 밀리와트(mW) 정도(예를 들어, 대략 2mW와 4mW 사이)의 전력을 소비하는 반면, 레이더 전력 상태(638-3)는 대략 수 밀리와트(예: 약 6mW와 20mW 사이) 전력을 소비한다. 제스처 프레임 업데이트 레이트(634)와 관련하여, 레이더 전력 상태(638-1)는 몇 헤르츠(예: 약 1Hz 또는 5Hz 미만) 정도의 업데이트 레이트를 사용하는 반면 레이더 전력 상태는(638-3)은 수십 헤르츠(예를 들어, 대략 20Hz 또는 10Hz 초과) 정도인 제스처 프레임 업데이트 레이트(634)를 사용한다.
그래프(640)는 상이한 레이더 전력 상태(638-1 내지 638-3)에 대한 제스처 프레임 업데이트 레이트(634)와 응답 지연 사이의 관계를 도시한다. 일반적으로 말해서, 응답 지연은 제스처 프레임 업데이트 레이트(634) 및 전력 소비 모두에 반비례한다. 특히, 제스처 프레임 업데이트 레이트(634)가 증가하는 동안 응답 지연은 기하급수적으로 감소한다. 레이더 전력 상태(638-1)와 관련된 응답 지연은 수백 밀리초(ms) 정도(예를 들어, 1000ms 또는 200ms 이상)일 수 있는 반면, 레이더 전력 상태(638-3)와 관련된 응답 지연은 몇 밀리초 정도(예: 50ms 또는 100ms 미만)일 수 있다. 레이더 전력 상태(638-2)에 대해 전력 소비, 제스처 프레임 업데이트 레이트(634) 및 응답 지연은 레이더 전력 상태(638-1)와 레이더 전력 상태(638-3) 사이에 있다. 예를 들어 레이더 전력 상태(638-2)의 전력 소비는 약 5mW이고, 제스처 프레임 업데이트 레이트는 약 8Hz이며 응답 지연은 약 100ms에서 200ms 사이다.
레이더 전력 상태(638-1) 또는 레이더 전력 상태(638-3)에서 작동하는 대신, 전력 관리 모듈(620)은 레이더 전력 상태(638-1, 638-2 및 638-3)(및 이러한 레이더 전력 상태(638) 각각 사이의 하위 상태) 사이에서 동적으로 스위칭하여, 응답 지연 및 전력 소비가 환경 내의 활동에 기초하여 함께 관리되도록 한다. 예를 들어, 전력 관리 모듈(620)은 외부 환경을 모니터링하거나 접근하는 사용자를 검출하기 위해 레이더 전력 상태(638-1)를 활성화한다. 나중에, 전력 관리 모듈(620)은 레이더 시스템(104)이 사용자가 참여 의도를 나타내고 있거나 그렇게 하기 시작할 수 있거나 제스처를 수행하기 시작한다고 결정하면 레이더 전력 상태(638-3)를 활성화한다. 상이한 트리거가 전력 관리 모듈(620)로 하여금 상이한 레이더 전력 상태들(638-1 내지 638-3) 사이에서 스위칭하게 할 수 있다. 예시적 트리거는 모션 또는 모션의 부족, 사용자의 출현 또는 소멸, 사용자가 지정된 영역(예를 들어, 범위, 방위각 또는 고도에 의해 정의된 영역)으로 이동 또는 이탈, 사용자와 연관된 모션의 속도 변화, 레이더 관리자(106)에 의해 결정된 참여 의도(예: 얼굴 피처 트래킹과 같은 추가 전력이 요구되는 일부 참여 의도를 통한 "리치") 또는 반사된 신호 강도에서의 변화(예를 들어, 레이더 크로스 섹션의 변화로 인한)를 포함한다. 일반적으로, 사용자가 UE(102)와 인터렉션할 가능성이 낮거나 더 긴 응답 지연을 사용하여 데이터를 수집하는 것을 선호한다고 표시하는 트리거는 전력을 절약하기 위해 레이더 전력 상태(638-1)가 활성화되게 한다.
일반적으로, 전력 관리 모듈(620)은 전력이 절약될 수 있는 시기 및 방법을 결정하고, 레이더 시스템(104)이 UE(102)의 전력 제한 내에서 동작할 수 있도록 전력 소비를 점진적으로 조정한다. 일부 경우에, 전력 관리 모듈(620)는 남은 가용 전력량을 모니터링하고, 그에 따라 레이더 시스템(104)의 동작을 조정할 수 있다(예: 낮은 배터리로 인해). 예를 들어, 잔여 전력량이 적은 경우, 전력 관리 모듈(620)은 레이더 전력 상태(638-2 또는 638-3)로 스위칭하는 대신 레이터 전력 상태(638-1)에서 계속 동작할 수 있다.
각 전력 상태(638-1 내지 638-3)는 특정 프레이밍 구조와 연관될 수 있다. 프레이밍 구조는 레이더 신호의 전송 및 수신과 연관된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로, 프레이밍 구조는 외부 환경에 기초하여 적절한 레이더 데이터가 수집될 수 있도록 설정된다. 프레이밍 구조는 상이한 애플리케이션(예를 들어, 근접 검출, 피처 인식 또는 제스처 인식)에 대한 상이한 유형의 레이더 데이터의 수집을 용이하게 하도록 커스터마이징될 수 있다. 프레이밍 구조의 각 레벨에 걸쳐 비활성 시간 동안, 전력 관리 모듈(620)는 전력을 절약하기 위해 도 6-2의 트랜시버(606) 내의 컴포넌트를 끌 수 있다. 프레임 구조의 예는 도 6-4와 관련하여 추가로 설명된다.
도 6-4는 예시적 프레임 구조(642)를 도시한다. 도시된 구성에서, 프레임 구조(642)는 3가지 상이한 유형의 프레임을 포함한다. 최상위 레벨에서, 프레이밍 구조(642)는 활성 상태 또는 비활성 상태에 있을 수 있는 제스처 프레임(644)의 시퀀스를 포함한다. 일반적으로 활성 상태는 비활성 상태에 비해 더 많은 전력을 소비한다. 중간 레벨에서, 프레이밍 구조(642)는 유사하게 활성 상태 또는 비활성 상태에 있을 수 있는 피처 프레임(FF)(646)의 시퀀스를 포함한다. 다른 유형의 피처 프레임은 펄스 모드 피처 프레임(648)(도 6-4의 왼쪽 아래에 표시)과 버스트 모드 피처 프레임(650)(도 6-4의 오른쪽 아래에 표시)을 포함한다. 낮은 레벨에서, 프레이밍 구조(642)는 활성 상태 또는 비활성 상태에 있을 수 있는 레이더 프레임(RF)(652)의 시퀀스를 포함한다.
레이더 시스템(104)은 활성 레이더 프레임(RF)(652) 동안 레이더 신호를 송수신한다. 일부 상황에서, 레이더 프레임(652)은 검색 및 추적, 클러터 맵 생성, 사용자 위치 결정 등과 같은 기본 레이더 동작을 위해 개별적으로 분석된다. 각각의 활성 레이더 프레임(652) 동안 수집된 레이더 데이터는 레이더 프레임(652)이 완료된 후 버퍼에 저장되거나 도 6-1의 프로세서(608)에 직접 제공될 수 있다.
레이더 시스템(104)은 하나 이상의 제스처와 연관된 특정 피처를 식별하기 위해 다수의 레이더 프레임(652)에 걸쳐(예를 들어, 활성 피처 프레임(646)과 연관된 레이더 프레임(652)의 그룹에 걸쳐) 레이더 데이터를 분석한다. 피처의 예시적인 유형은 특정 유형의 모션, 특정 부속지(예를 들어, 손 또는 개별 손가락)와 연관된 모션 및 제스처의 상이한 부분과 연관된 피처를 포함한다. 활성 제스처 프레임(644) 동안 사용자(120)에 의해 수행된 제스처를 인식하기 위해, 레이더 시스템(104)은 하나 이상의 활성 피처 프레임(646)과 연관된 레이더 데이터를 분석한다.
제스처의 유형에 따라, 제스처 프레임(644)의 지속기간은 밀리초 또는 초 정도(예를 들어, 대략 10ms와 10초 사이)일 수 있다. 활성 제스처 프레임(644)이 발생한 후, 레이더 시스템(104)은 비활성 제스처 프레임(644-3 및 644-4)에 의해 도시된 바와 같이 비활성 상태이다. 비활성 제스처 프레임(644)의 지속기간은 수십 밀리초 이상(예를 들어, 50ms 초과) 정도일 수 있는 딥 슬립 시간(654)을 특징으로 한다. 예시적인 구현예에서, 레이더 시스템(104)은 딥 슬립 시간(654) 동안 전력을 보존하기 위해 트랜시버(606) 내의 모든 컴포넌트를 턴오프할 수 있다.
도시된 프레이밍 구조(642)에서, 각각의 제스처 프레임(644)은 K개의 피처 프레임(646)을 포함하고, 여기서 K는 양의 정수이다. 제스처 프레임(644)이 비활성 상태에 있으면 해당 제스처 프레임(644)과 연관된 모든 피처 프레임(646)도 비활성 상태에 있다. 대조적으로, 활성 제스처 프레임(644)은 J개의 활성 피처 프레임(646) 및 K-J개의 비활성 피처 프레임(646)을 포함하며, 여기서 J는 K보다 작거나 같은 양의 정수이다. 피처 프레임(646)의 양은 제스처의 복잡도에 기초할 수 있고, 수개 내지 수백 개의 피처 프레임(646)을 포함할 수 있다(예를 들어, K는 2, 10, 30, 60, 또는 100일 수 있음). 각각의 피처 프레임(646)의 지속기간은 밀리초 정도(예를 들어, 대략 1ms와 50ms 사이)일 수 있다.
전력을 보존하기 위해, 활성 피처 프레임(646-1 내지 646-J)은 비활성 피처 프레임(646-(J+1) ~ 646-K)보다 먼저 발생한다. 비활성 피처 프레임(646-(J+1) 내지 646-K)의 지속 시간은 슬립 시간(656)으로 특징지어 진다. 이러한 방식으로, 비활성 피처 프레임(646-(J+1) ~ 646-K)은 레이더 시스템(104)이 비활성 피처 프레임(646-(J+1) ~ 646-K)을 활성 피처 프레임(646-1 ~ 646-J)으로 인터리브하는 다른 기법에 비해 더 긴 기간 동안 전원이 꺼진 상태에 있을 수 있도록 연속적으로 실행된다. 일반적으로 말해서, 슬립 시간(656)의 지속기간을 증가시키면 레이더 시스템(104)이 더 긴 시동 시간을 필요로 하는 트랜시버(606) 내의 컴포넌트를 턴오프할 수 있다.
각각의 피처 프레임(646)은 L개의 레이더 프레임(652)을 포함하며, 여기서 L은 J 또는 K와 같거나 같지 않을 수 있는 양의 정수이다. 일부 구현예에서, 레이더 프레임(652)의 양은 상이한 피처 프레임(646)에 걸쳐 변할 수 있고, 몇 개의 프레임들 또는 수백 개의 프레임들을 포함할 수 있다(예를 들어, L은 5, 15, 30, 100, 또는 500과 같을 수 있다). 레이더 프레임(652)의 지속기간은 수십 또는 수천 마이크로초 정도(예를 들어, 대략 1ms와 50ms 사이)일 수 있다. 특정 피처 프레임(646) 내의 레이더 프레임(652)은 특정 피처 및 제스처의 검출을 용이하게 하는 미리 결정된 검출 범위, 범위 해상도, 또는 도플러 감도에 대해 맞춤화될 수 있다. 예를 들어, 레이더 프레임(652)은 특정 유형의 변조, 대역폭, 주파수, 송신 전력 또는 타이밍을 이용할 수 있다. 피처 프레임(646)이 비활성 상태에 있으면 해당 피처 프레임(646)과 연관된 모든 레이더 프레임(652)도 비활성 상태에 있다.
펄스 모드 피처 프레임(648) 및 버스트 모드 피처 프레임(650)은 레이더 프레임(652)의 상이한 시퀀스를 포함한다. 일반적으로 말하면, 활성 펄스 모드 피처 프레임(648) 내의 레이더 프레임(652)은 미리 결정된 양만큼 시간적으로 분리된 펄스를 전송한다. 대조적으로, 활성 버스트 모드 피처 프레임(650) 내의 레이더 프레임(652)은 버스트 모드 피처 프레임(650)의 일부에 걸쳐 연속적으로 펄스를 전송한다(예를 들어, 펄스는 미리 결정된 양의 시간만큼 분리되지 않는다).
각각의 활성 펄스 모드 피처 프레임(648) 내에서, 레이더 프레임(652)의 시퀀스는 활성 상태와 비활성 상태 사이에서 교번한다. 각각의 활성 레이더 프레임(652)은 삼각형으로 예시된 레이더 신호(예를 들어, 처프)를 전송한다. 레이더 신호의 지속 시간은 활성 시간(658)을 특징으로 한다. 활성 시간(658) 동안, 트랜시버(606) 내의 컴포넌트는 전원이 켜진다. 활성 레이더 프레임(652) 내의 남은 시간과 다음 비활성 레이더 프레임(652)의 지속 시간을 포함하는 단기 유휴 시간(660) 동안, 레이더 시스템(104)은 단기 유휴 시간(660)의 지속 시간 내의 시동 시간을 갖는 트랜시버(606) 내의 컴포넌트를 꺼서 전력을 보존한다.
활성 버스트 모드 피처 프레임(650)은 M 활성 레이더 프레임(652) 및 L-M 비활성 레이더 프레임(652)을 포함하며, 여기서 M은 L보다 작거나 같은 양의 정수이다. 전력을 절약하기 위해, 활성 레이더 프레임(652-1~652-M)은 비활성 레이더 프레임(652-(M+1)~652-L)보다 먼저 발생한다. 비활성 레이더 프레임(652-(M+1) ~ 652-L)의 지속시간은 긴 유휴 시간(662)을 특징으로 한다. 비활성 레이더 프레임(652-(M+1) 내지 652-L)을 그룹화하여, 레이더 시스템(104)은 펄스 모드 피처 프레임(648) 동안 발생하는 짧은 유휴 시간(660)에 비해 더 긴 지속기간 동안 전원이 꺼진 상태에 있을 수 있다. 추가적으로, 전력 관리 모듈(620)은 단기 유휴 시간(660)보다 길고 장기 유휴 시간(662)보다 짧은 시동 시간을 갖는 트랜시버(606) 내의 추가 컴포넌트를 끌 수 있다.
활성 버스트 모드 피처 프레임(650) 내의 각각의 활성 레이더 프레임(652)은 레이더 신호의 일부를 전송한다. 이 예에서 활성 레이더 프레임(652-1 내지 652-M)은 주파수가 증가하는 레이더 신호의 일부와 주파수가 감소하는 레이더 신호의 일부를 번갈아 전송한다.
프레이밍 구조(642)는 각 프레임 유형 내에서 조정가능한 듀티 사이클을 통해 전력을 절약할 수 있다. 제1 듀티 사이클(664)은 피처 프레임(646)의 용량(K)에 대한 활성 피처 프레임(646)의 양(J)에 기초할 수 있다. 제2 듀티 사이클(665)은 레이더 프레임(652)의 용량(L)에 대한 활성 레이더 프레임(652)의 양(예: L/2 또는 M)에 기초할 수 있다. 제3 듀티 사이클(668)은 레이더 프레임(652)의 지속시간에 대한 레이더 신호의 지속시간에 기초할 수 있다.
약 2mW의 전력을 소비하고 약 1Hz와 4Hz 사이의 제스처 프레임 업데이트 레이트를 갖는 전력 상태(638-1)에 대한 예시적 프레이밍 구조(642)를 고려한다. 이 예시에서, 프레이밍 구조(642)는 대략 250ms 내지 1초의 지속시간을 갖는 제스처 프레임(644)을 포함한다. 제스처 프레임(644)은 31개의 펄스 모드 피처 프레임(648)(예를 들어, L은 31과 동일)을 포함한다. 31개의 펄스 모드 피처 프레임(648) 중 하나는 활성 상태이다. 이로 인해 듀티 사이클(664)은 대략 3.2%가 된다. 각 펄스 모드 피처 프레임(648)의 지속시간은 약 8ms와 32ms 사이다. 각 펄스 모드 피처 프레임(648)은 여덟 개 레이더 프레임(652)으로 구성된다. 활성 펄스 모드 피처 프레임(648) 내에서, 8개의 레이더 프레임(652)이 모두 활성 상태이다. 이로 인해 듀티 사이클(665)은 대략 100%가 된다. 각 레이더 프레임(652)의 지속시간은 약 1ms와 4ms 사이다. 각 활성 레이더 프레임(652) 내의 활성 시간(658)은 약 32μs~ 28μs이다. 따라서, 결과 듀티 사이클(668)은 약 3.2%이다. 이 예시적 프레이밍 구조(642)는 우수한 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 우수한 제스처 인식 및 존재 검출과 관련하여 낮은 전력 상태(예: 낮은 전력 상태(504-3))의 핸드헬드 스마트폰의 애플리케이션 컨텍스트에서 우수한 전력 효율 결과를 제공한다.
프레이밍 구조(642)에 기초하여, 전력 관리 모듈(620)은 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이 비활성 시간 기간에 기초하여, 전력 관리 모듈(620)은 아래에 더 설명되는 바와 같이, 레이더 시스템(104)의 동작 상태를 조정하고 트랜시버(606)의 하나 이상의 컴포넌트를 끄는 것에 의해 전력을 절약할 수 있다.
언급된 바와 같이, 전력 관리 모듈(620)은 트랜시버(606) 내에서 하나 이상의 컴포넌트(예를 들어, 전압 제어 발진기, 멀티플렉서, 아날로그-디지털 변환기, 위상 잠금 루프 또는 수정 발진기)를 끔으로써 비활성 시간 기간 동안 전력을 절약할 수 있다. 이러한 비활성 시간 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송 또는 수신하지 않는 경우에 발생하며, 이는 마이크로 초(μs), 밀리 초(ms) 또는 초(들) 정도일 수 있다. 또한, 전력 관리 모듈(620)은 신호 증폭기에 의해 제공되는 증폭량을 조정함으로써 레이더 신호의 전송 전력을 수정할 수 있다. 또한, 전력 관리 모듈(620)은 전력을 절약하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 컴포넌트들의 사용을 제어할 수 있다. 프로세서(608)가 저전력 프로세서 및 고전력 프로세서(예를 들어, 상이한 양의 메모리 및 계산 능력을 갖는 프로세서)를 포함하는 경우, 예를 들면, 전력 관리 모듈(620)은 저레벨 분석(예를 들어, 모션 검출, 사용자의 위치 결정 또는 환경 모니터링)을 위해 저전력 프로세서를, 레이더 관리자(106)에 의해 고충실도 또는 정확한 레이더 데이터가 요청되는 상황(예를 들어,레이더 데이터를 사용하여 사용자를 인증하기 위한 인증 시스템(114)의 높은 전력 상태(504-1)을 구현하기 위해)에 대해 고전력 프로세서를 활용하는 것 사이에서 스위칭할 수 있다.
위에서 설명된 내부 절전 기법에 더하여, 전력 관리 모듈(620)은 또한 인증 시스템(114) 단독으로 또는 인증 시스템(114)의 명령으로 UE(102) 내에 있는 다른 외부 컴포넌트 또는 센서를 활성화 또는 비활성화함으로써 UE(102) 내의 전력을 보존할 수 있다. 이러한 외부 컴포넌트는 스피커, 카메라 센서, GPS, 무선 통신 송수신기, 디스플레이, 자이로스코프 또는 가속도계를 포함할 수 있다. 레이더 시스템(104)은 소량의 전력을 사용하여 환경을 모니터링할 수 있기 때문에, 전력 관리 모듈(620)은 사용자가 위치하거나 사용자가 무엇을 하고 있는지에 기초하여 이러한 외부 컴포넌트를 적절하게 켜거나 끌 수 있다. 이러한 방식으로, UE(102)는 자동 차단 타이머를 사용하거나 사용자가 UE(102)를 물리적으로 만지거나 구두로 제어하지 않고도 사용자에게 원활하게 응답하고 전력을 절약할 수 있다.
도 8는 UE(102) 내의 레이더 시스템(104)의 예시적 구현예(800)의 추가적 세부사항을 도시한다. 예시(800)에서, 안테나 어레이(604)는 유리 커버 또는 외부 케이스와 같은 UE(102)의 외부 하우징 아래에 포지셔닝된다. 재료 속성에 따라, 외부 하우징은 레이더 시스템(104)에 의해 전송 및 수신되는 레이더 신호를 감쇠 또는 왜곡시키는 감쇠기(802)로서 작용할 수 있다. 감쇠기(802)는 상이한 유형의 유리 또는 플라스틱을 포함할 수 있으며, 이들 중 일부는 디스플레이 스크린, 외부 하우징 또는 UE(102)의 다른 컴포넌트들 내에서 발견될 수 있고, 대략 4 내지 10의 유전 상수(예를 들어, 비유전율)를 갖는다. 따라서, 감쇠기(802)는 레이더 신호(806)에 대해 불투명하거나 반투명하며, (반사된 부분(804)에 의해 도시된 바와 같이) 전송 또는 수신된 레이더 신호(806)의 일부가 반사되게 할 수 있다. 종래의 레이더의 경우, 감쇠기(802)는 모니터링될 수 있는 유효 범위를 감소시키거나, 작은 표적이 검출되는 것을 방해하거나, 전체 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 전송 전력이 제한되고, 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(806)의 하나 이상의 감쇠-의존적 속성(예를 들어, 주파수 서브 스펙트럼(808) 또는 조향각(810)) 또는 감쇠기(802)의 감쇠-의존적 속성들(예를 들어, 감쇠기(802)와 레이더 시스템(104) 사이의 거리(812) 또는 감쇠기(802)의 두께(814))은 감쇠기(802)의 효과를 완화시키도록 조정된다. 이들 특성 중 일부는 제조 중에 설정되거나 레이더 시스템(104)의 동작 중에 감쇠 완화기(614)에 의해 조정될 수 있다. 감쇠 완화기(614)는, 예를 들어, 트랜시버(606)가 선택된 주파수 서브 스펙트럼(808) 또는 조향각(810)을 사용하여 레이더 신호(806)를 전송하게 하고, 거리(812)를 변경하기 위해 플랫폼이 레이더 시스템(104)을 감쇠기(802)로부터 더 가깝거나 멀게 이동하게 하고, 감쇠기(802)의 두께(814)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자에게 프롬프트하게 한다.
적절한 조정은 감쇠기(802)의 미리 결정된 특성(예를 들어, UE(102)의 컴퓨터 판독가능 매체(404)에 또는 시스템 미디어(610) 내에 저장된 특성)에 기초하여, 감쇠 완화기(614)에 의해 또는 감쇠기(802)의 하나 이상의 특성을 측정하기 위해서 레이더 신호(806)의 리턴들을 프로세싱함으로써 이루어진다. 감쇠-의존적 특성 중 일부가 고정되거나 제한되더라도, 감쇠 완화기(614)는 각 파라미터의 균형을 맞추고 타겟 레이더 성능을 달성하기 위해 이러한 제한을 고려할 수 있다. 결과적으로, 감쇠 완화기(614)는 레이더 시스템(104)이 감쇠기(802)의 반대쪽에 위치한 사용자를 검출하고 추적하기 위해 향상된 정확도 및 더 큰 유효 범위를 실현할 수 있게 한다. 이들 기법은 디바이스가 한 번 생산되면 어렵고 비쌀 수 있는, 레이더 시스템(104)의 전력 소비를 증가시키는 전송 전력을 증가시키거나 감쇠기(802)의 재료 속성을 변경하는 대안을 제공한다.
도 9는 레이더 시스템(104)에 의해 구현될 수 있는 예시적 스키마(900)를 도시한다. 스키마(900)의 일부는 프로세서(608), 컴퓨터 프로세서(402) 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 스키마(900)는 상이한 유형의 전자 디바이스 및 레이더 기반 애플리케이션(예를 들어, 레이더 관리자(106))을 지원하도록 커스터마이징될 수 있고, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 타겟 각도 정확도를 달성할 수 있게 한다.
트랜시버(606)는 수신된 레이더 신호에 대한 수신 안테나 엘리먼트(702)의 개별 응답에 기초하여 원시 데이터(raw data)(902)를 생성한다. 수신된 레이더 신호는 각도 모호성 해결을 지원하기 위해 각도 추정기(618)에 의해 선택되었던 하나 이상의 주파수 서브 스펙트럼(904)과 연관될 수 있다. 주파수 서브 스펙트럼(904)은 예를 들어, 사이드 로브(sidelobe)의 양을 감소시키거나 사이드 로브의 진폭을 감소시키도록 선택될 수 있다(예를 들어, 진폭을 0.5dB, 1dB 이상 감소). 주파수 서브 스펙트럼의 양은 레이더 시스템(104)의 타겟 각도 정확도 또는 계산 한계에 기초하여 결정될 수 있다.
원시 데이터(902)는 수신 안테나 엘리먼트(702)와 각각 연관된 시간 기간, 상이한 파수 및 다수의 채널에 대한 디지털 정보(예를 들어, 동 위상 및 직교 데이터)를 포함한다. FFT(Fast-Fourier Transform)(906)는 원시 데이터(902)에 대해 수행되어 사전 프로세싱된 데이터(908)를 생성한다. 사전-프로세싱된 데이터(908)는 상이한 범위(예를 들어, 범위 빈(range bin)) 및 다수의 채널에 대한 시간 기간에 걸친 디지털 정보를 포함한다. 범위-도플러 데이터(912)를 생성하기 위해 사전-프로세싱된 데이터(908)에 대해 도플러 필터링 프로세스(910)가 수행된다. 도플러 필터링 프로세스(910)는 다수의 레인지 빈, 다수의 도플러 주파수 및 다수의 채널에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔 형성기(616)는 범위-도플러 데이터(912)에 기초하여 빔 형성(beamforming) 데이터(914)를 생성한다. 빔 형성 데이터(914)는 방위 및/또는 고도의 세트에 대한 디지털 정보를 포함하며, 이는 상이한 조향 각도 또는 빔이 디지털 빔 형성기(616)에 의해 형성되는 시야를 나타낸다. 도시되지 않았지만, 디지털 빔 형성기(616)는 대안적으로 사전-프로세싱된 데이터(908)에 기초하여 빔 포밍 데이터(914)를 생성할 수 있고, 도플러 필터링 프로세스(910)는 빔 포밍 데이터(914)에 기초하여 범위-도플러 데이터(912)를 생성할 수 있다. 계산의 양을 감소시키기 위해, 디지털 빔 형성기(616)는 관심 범위, 시간 또는 도플러 주파수 간격에 기초하여 범위-도플러 데이터(912) 또는 사전-프로세싱된 데이터(908)의 일부를 프로세싱할 수 있다.
디지털 빔 형성기(616)는 단일-룩 빔 형성기(916), 멀티-룩 간섭계(918) 또는 멀티-룩 빔 형성기(920)를 사용하여 구현될 수 있다. 일반적으로, 단일-룩 빔 형성기(916)는 결정성 객체(예를 들어, 단일 위상 중심을 갖는 포인트 소스 타겟)에 사용될 수 있다. 비-결정성 타겟(예를 들어, 다중 위상 중심을 갖는 타겟)에 대해, 멀티-룩 간섭계(918) 또는 멀티-룩 빔 형성기(920)는 단일-뷰 빔 형성기(916)에 비해 정확도를 향상시키기 위해 사용된다. 사람은 비-결정성 타겟의 예이며, 924-1 및 924-2에 도시된 바와 같이, 상이한 종횡 각에 기초하여 변할 수 있는 다중 위상 중심(922)을 갖는다. 다중 위상 중심(922)에 의해 생성된 구조적 또는 파괴적 간섭의 변화는 종래의 레이더 시스템이 각도 포지션을 정확하게 결정하는 것을 어렵게 할 수 있다. 그러나, 멀티-룩 간섭계(918) 또는 멀티-룩 빔 형성기(920)는 빔 형성 데이터(914)의 정확도를 증가시키기 위해 코헤런트 평균화(coherent averagin)를 수행한다. 멀티-룩 간섭계(918)는 각도 정보를 정확하게 결정하는데 사용될 수 있는 위상 정보를 생성하기 위해 2개의 채널을 연접하게 평균화한다. 한편, 멀티-룩 빔 형성기(920)는 푸리에, Capon, 다중 신호 분류(MUSIC), 또는 최소 분산 왜곡 감소 응답(MVDR)과 같은 선형 또는 비선형 빔 형성기를 사용하여 2개 이상의 채널을 연접하게 평균화할 수 있다. 멀티-룩 빔 형성기(920) 또는 멀티-룩 간섭계(918)를 통해 제공되는 증가된 정확도는 레이더 시스템(104)이 작은 제스처를 인식하거나 사용자의 여러 부분(예: 얼굴 피처들)을 구별할 수 있게 한다.
각도 추정기(618)는 빔 형성 데이터(914)를 분석하여 하나 이상의 각도 포지션을 추정한다. 각도 추정기(618)는 신호 프로세싱 기법, 패턴 매칭 기법 혹은 기계 학습을 이용할 수 있다. 각도 추정기(618)는 또한 레이더 시스템(104)의 설계 또는 레이더 시스템(104)이 모니터링하는 시야에서 발생할 수 있는 각 모호성을 해결한다. 예시적 각도 모호성은 진폭 플롯(926)(예를 들어, 진폭 응답) 내에 도시된다.
진폭 플롯(926)은 타겟의 상이한 각도 포지션 및 상이한 조향 각도(810)에 대해 발생할 수 있는 진폭 차이를 도시한다. 제1 각도 포지션(930-1)에 포지셔닝된 타겟에 대한 제1 진폭 응답(928-1)(실선으로 도시됨)이 도시된다. 유사하게, 제2 각도 포지션(930-2)에 포지셔닝된 타겟에 대한 제2 진폭 응답(928-2)(점선으로 도시됨)이 도시된다. 이 예에서는 -180도에서 180도 사이의 각도에서 차이가 고려된다.
진폭 플롯(926)에 도시된 바와 같이, 2개의 각도 포지션(930-1 및 930-2)에 대해 모호한 구역이 존재한다. 제1 진폭 응답(928-1)은 제1 각도 포지션(930-1)에서 가장 높은 피크를 갖고, 제2 각도 포지션(930-2)에서 더 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 포지션에 해당하지만, 더 작은 피크는 종래의 레이더가 타겟이 제1 각도 포지션(930-1) 또는 제2 각도 포지션(930-2)에 있는지 여부를 자신있게 결정할 수 없는 임계치 내에 있기 때문에 제1 각도 포지션(930-1)을 모호하게 한다. 반대로 제2 진폭 응답(928-2)은 제2 각도 포지션(930-2)에서 더 작은 피크를 가지고, 제1 각도 포지션(930-1)에서 가장 높은 피크를 갖는다. 이 경우, 더 작은 피크는 타겟의 위치에 해당한다.
종래의 레이더는 각도 포지션을 결정하기 위해 가장 높은 피크 진폭을 사용하는 것으로 제한될 수 있지만, 각도 추정기(618)는 대신 진폭 응답(928-1 및 928-2)의 형상의 미묘한 차이를 분석한다. 형상의 특성은 예를 들어, 롤오프, 피크 또는 널(null) 폭, 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드 로브의 형상, 진폭 응답(928-1 또는 928-2) 내의 대칭(928-1) 또는 진폭 응답(928-1 또는 828-2) 내에서 대칭성의 결여를 포함할 수 있다. 위상 응답에서 유사한 형상 특성을 분석할 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서, 각도 추정기(618)는 고유 각도 서명 또는 패턴을 각도 포지션에 매핑한다.
각도 추정기(618)는 UE(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 레이더 관리자(106)에 대한 타겟 각도 해상도에 따라 선택될 수 있는 일련의 알고리즘 또는 툴을 포함할 수 있다. 일부 구현예에서, 각도 추정기(618)는 신경망(932), 컨볼루션 신경망(CNN)(934) 또는 LSTM(long short-term memory) 네트워크(936)를 포함할 수 있다. 신경망(932)은 다양한 깊이 또는 양의 히든 레이어(예를 들어, 3개의 히든 레이어, 5개의 히든 레이어 또는 10개의 히든 레이어)를 가질 수 있고, 또한 상이한 양의 연결을 포함할 수 있다(예를 들어, 신경 네트워크(932)는 완전히 연결된 신경 네트워크 또는 부분적으로 연결된 신경 네트워크를 포함할 수 있음). 일부 경우에, CNN(934)은 각도 추정기(618)의 계산 속도를 증가시키기 위해 사용될 수 있다. LSTM 네트워크(936)는 각도 추정기(618)가 타겟을 추적할 수 있게 하는데 사용될 수 있다. 기계 학습 기법을 사용하여, 각도 추정기(618)는 비선형 함수를 사용하여 진폭 응답(928-1 또는 928-2)의 형상을 분석하고, 각도 확률 데이터(938)를 생성하며, 이는 사용자 또는 사용자의 일부가 각도 빈 내에 있을 가능성을 나타낸다. 각도 추정기(618)는 UE(102)의 왼쪽 또는 오른쪽에 있는 타겟의 확률을 제공하기 위해 또는 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 또는 수천개의 각도 빈들에 대한(예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(938)를 제공하기 위해) 각도 확률 데이터(938)를 제공할 수 있다.
각도 확률 데이터(938)에 기초하여, 추적기 모듈(940)은 타겟의 각도 위치를 식별하는 각도 포지션 데이터(942)를 생성한다. 추적기 모듈(940)은 각도 확률 데이터(938)에서 가장 높은 확률을 갖는 각도 빈 또는 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(940)은 또한 레이더 시스템(104)이 타겟을 자신있게 식별하거나 구별할 수 있도록 하나 이상의 이동 타겟을 계속 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 포함한 다른 데이터를 사용하여 각도 포지션을 결정할 수도 있다. 일부 경우에, 추적기 모듈(940)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT) 등을 포함할 수 있다.
양자화 모듈(944)은 각도 포지션 데이터(942)를 획득하고 양자화된 각도 포지션 데이터(946)를 생성하기 위해 데이터를 양자화한다. 양자화는 레이더 관리자(106)에 대한 타겟 각도 해상도에 기초하여 수행될 수 있다. 일부 상황에서, 양자화된 각도 포지션 데이터(946)가 타겟이 UE(102)의 오른쪽에 있는지 왼쪽에 있는지를 나타내거나 또는 타겟이 위치하는 90도 사분면을 식별하도록 더 적은 양자화 레벨이 사용될 수 있다. 이것은 사용자 근접 검출과 같은 일부 레이더 기반 애플리케이션에 충분할 수 있다. 다른 상황에서, 양자화된 각도 포지션 데이터(946)가 1도, 1도, 5도 등의 분수의 정확도 내에서 타겟의 각도 포지션을 나타내도록 더 많은 수의 양자화 레벨이 사용될 수 있다. 이 해상도는 제스처 인식과 같은 고해상도 레이더 기반 애플리케이션 또는 본 명세서에 기술된 주의 상태 또는 인터렉션 상태의 구현예에서 사용될 수 있다. 일부 구현예에서, 디지털 빔 형성기(616), 각도 추정기(618), 추적기 모듈(940) 및 양자화 모듈(944)은 단일 기계 학습 모듈에서 함께 구현된다.
레이더가 참여, 이탈 또는 참여 유지의 사용자의 의도를 결정하는데 사용되는 구현예를 포함하고 가장 최신 스마트폰에 제공된 온-디바이스 카메라를 사용하여 대안적으로 달성가능한, 레이더가 전자 디바이스와 참여 또는 인터렉션하기 위한 사용자 의도의 표시로서 분류된 사용자 액션을 검출하는데 사용되는 구현예를 추가로 포함하는 설명된 구현예의 장점은 결과의 적절성은 종종 카메라 시스템보다 레이더 시스템이 좋을 수 있으면서 레이더 시스템의 전력 사용이 카메라 시스템의 전력 사용보다 실질적으로 적다는 것이다. 예를 들어, 위에서 설명한 레이더 시스템(104)을 사용한, 원하는 사용자 의도 검출은 한 자릿수 밀리와트로부터 수십 밀리와트(예: 10mW, 20mW, 30mW 또는 40mW) 범위의 평균 전력으로 달성될 수 있고, 심지어 결정을 내리기 위해 레이더 벡터 데이터를 프로세싱하기 위한 프로세싱 전력도 포함한다. 이러한 낮은 레벨의 전력에서 레이더 시스템(104)을 항상 가용으로 유지하는 것이 쉽게 허용된다. 예를 들어, 스마트폰 레이더 시스템(104)이 항상 가용한 상태에서, 몇 시간 동안 스마트폰과 함께 방 건너편에 앉아 있는 사용자에게 현재 설명된 원하는 즐겁고 원활한 경험을 여전히 제공할 수 있다.
대조적으로, 오늘날 대부분의 스마트폰에 제공되는 광학 카메라는 일반적으로 수백 밀리와트의 전력(예: 40mW, 즉 400mW 이상)에서 동작한다. 이러한 전력 비율에서 광학 카메라는 오늘날 대부분의 스마트폰의 배터리 수명을 크게 줄여 광학 카메라를 항상 켜진 상태로 유지하는 것이 금기는 아니지만 매우 비실용적이기 때문에 불리하다. 레이더 시스템(104)의 또 다른 장점은 시야가 상당히 커서 테이블에 평평하게 놓여 면이 위를 향하도록(레이더 칩이 셀카 카메라와 동일한 일반적인 방향으로 바깥쪽을 향하고 있음) 하여도 모든 방향에서 사용자가 걸어오는 것을 충분히 쉽게 검출할 수 있다는 것이며, 또한 도플러 프로세싱 능력 덕분에 다양한 방향으로부터 움직이는 신체의 비교적 미세한 움직임까지도 검출하는데 매우 효과적일 수 있다(특히 60GHz에 가까운 작동 주파수에서).
또한 레이더 시스템(104)은 카메라 시스템의 성능이 저하되거나 제한되는 환경에서도 동작할 수 있다. 예를 들어, 저조도 환경에서 카메라 시스템은 형상이나 움직임을 검출하는 능력이 떨어질 수 있다. 대조적으로, 레이더 시스템(104)은 전체 조명에서와 같이 저조도에서도 잘 작동한다. 레이더 시스템(104)은 또한 일부 장애물을 통해 존재와 제스처를 검출할 수 있다. 예를 들어, 스마트폰이 재킷이나 바지 주머니에 있으면 카메라 시스템은 사용자나 제스처를 검출할 수 없다. 그러나 레이더 시스템(104)은 카메라 시스템을 차단하는 천을 통해서도 해당 필드의 객체를 검출할 수 있다. 스마트폰의 온보드 비디오 카메라 설비에 비해 레이더 시스템(104)을 사용하는 것의 또 다른 이점은 사생활 보호이다. 사용자는 동시에 이러한 목적으로 비디오를 찍는 비디오 카메라가 있다는 걱정을 할 필요 없이 기분 좋고 매끈한 본 명세서에 기술된 이점을 가질 수 있기 때문이다.
도 1, 2, 4 및 6-9의 엔터티들은 다른 센서 또는 컴포넌트 등과 함께 추가로 분할, 결합, 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 IMU(108)의 상이한 구성을 갖는 UE(102)의 상이한 구현예들이 인증 상태를 유지하는 것을 구현하는데 사용될 수 있다. 도 1의 예시적 운영 환경(100) 및 도 2 내지 도 9의 상세한 도시는 설명된 기법을 사용할 수 있는 많은 가능한 환경 및 디바이스들의 일부를 도시한다.
예시적 방법들
이 섹션은 개별적으로 또는 전체 또는 부분적으로 함께 작동할 수 있는 예시적인 방법을 설명한다. 다양한 예시 방법이 설명되어 있으며, 각각은 읽기 쉽도록 하위 섹션에 설명되어 있다; 이 하위 섹션 제목은 이러한 각 방법의 상호 운용성을 제한하기 위한 것이 아니다.
인증 관리
도 10은 IMU 및 레이더를 통해 인증을 관리하기 위한 예시적 방법(1000)을 도시하고, 도 10은 사용자 장비에 대한 전력 상태를 관리하는 일 예시이다. 방법(1000)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법(예: 방법 1200 및 1400)을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단지 예시적인 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
1002에서, 사용자의 참여 의도는 레이더 데이터에 기초하여 사용자 장비에 의해 결정되며, 참여 의도는 사용자가 사용자 장비에의 참여할 의도를 표시한다. 위에서 언급한 바와 같이 예를 들면, 사용자(120)가 UE(102)를 향해 손을 뻗거나, UE(102)를 바라보거나, UE(102)를 향하여 몸을 기울이거나 방향을 향한다고 결정함으로써 참여 의도가 표시될 수 있다.
1004에서, 레이더 데이터를 통한 참여 의도의 결정 대신에 또는 추가로, 관성 데이터에 기초하여 사용자 장비의 움직임이 결정된다. 이 움직임은 사용자(120)가 UE(102)를 집어 드는 것, UE(102)를 터치하는 것, 및 위에서 언급된 바와 같은 다른 움직임을 나타낼 수 있다.
1006에서, 참여 의도의 결정에 응답하여, 그리고 일부 경우에 사용자 장비의 움직임의 결정에 응답하여, 인증 시스템의 전력 소비 컴포넌트의 전력 상태가 변경된다. 전력 소비 컴포넌트의 전력 상태는 제1 전력 상태에서 제2 전력 상태로 변경되고, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비한다. 이 변경은 레이더 데이터를 사용하여 결정된 참여 의도 또는 관성 데이터를 통해 결정된 움직임을 통해서만 결정될 수 있다. 또한, 전력 소비 컴포넌트의 전력 상태는 움직임 결정에 기초하여 더 상승되거나 다른 컴포넌트에 전력이 공급될 수 있다. 위에서 언급한 바와 같이, 이러한 움직임 결정은 사용자(120)의 참여 의도를 확인하거나, 참여 의도를 제공하거나, 그렇지 않으면 인증 시스템에 전력, 리소스 등을 추가하려는 결정에 속도 및/또는 견고성을 추가할 수 있다. 일부 경우에, 사용자가 참여할 의향이 없다고 결정된 경우에도 인증 시스템의 컴포넌트에 전원이 공급된 상태로 유지된다. 그러한 경우, 기법은 결정된 참여 의도에 응답하여 인증 프로세스를 수행하도록 작동한다. 이러한 경우, 해당 프로세스에 대한 전력이 절약되지 않더라도 대기 시간이 줄어든다. 그러나 이 기법은 인증 시스템과 연관되지 않은 리소스를 사용하지 않고 다른 방식으로 전력을 절약할 수 있다.
인증 시스템의 전력 소비 컴포넌트가 변경된 전원 상태는 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있도록 하기에 충분하거나 충분하지 않을 수 있다. 일부 경우에 전력 소비 컴포넌트의 제2 전력 상태는 높은 전력 상태(504-1)가 아니다. 그러한 경우에, 제2 전력 상태는 위에서 언급된 바와 같이 중간 전력 상태(504-2)이다. 이 중간 전력 상태(504-2)는 일부 경우에 전원을 완전히 켜지 않고도 인증을 위한 센서 데이터를 제공할 수 있는 중간 전력 상태를 포함하는 카메라와 같은 전력 소비 컴포넌트의 성능에 충분하다(예를 들어, 어둠이 아닌 완전한 빛에서 사용자의 이미지를 캡처하는 것 등). 또 다른 예는 디스플레이의 광도를 최대 전력으로 공급하지 않고 비밀번호에 대한 터치 입력을 수용하도록 전력을 공급받을 수 있는 디스플레이(116)다. 다른 경우는 레이더 시스템(104)을 포함하는데, 레이더 시스템(104)에 대한 사용자 얼굴의 상당히 가까운 범위에서는 인증 시스템(114)에 충분히 정확한 얼굴 피처를 제공하기 위해 최대 전력이 필요하지 않다.
일부 경우에, 컴포넌트의 전원을 켜는 것은 컴포넌트를 준비하거나 컴포넌트에 추가 시간을 제공하여 대기 시간을 줄일 수 있는 워밍업 시퀀스와 같은 중간 단계이다. 그러한 경우에, 상태 관리자(112)는 컴포넌트가 인증할 준비가 되기 전에 이탈 의도가 결정되면, 사용자(120)가 (예: 주머니 안으로) UE(102)를 이동시켜 인증을 방지하는 것과 같이 고전력으로 진행하지 않도록 결정할 수 있다. 일부 경우에, 전력 공급은 1004에 도시된 바와 같이 사용자(120)가 UE(102)를 이동했다는 결정에 응답하여 완전히 전력이 공급되는 중간 단계이며, 따라서 인증 프로세스를 수행하기에 충분한 전력이다. 이 워밍업 시퀀스는 컴포넌트에 중간 전력 상태(504-2)로 전력을 공급한 다음 짧은 시간 후에 컴포넌트에 인증 프로세스에 사용하기에 충분한 전력을 공급한다(예: 높은 전력 상태(504-1)). 이러한 경우 컴포넌트는 워밍업 시퀀스에 이어 워밍업 후 시퀀스에 있는 동안 높은 전력(또는 거의 그 정도)에 있다. 필요하지 않을 때 켜져 있으면 상당한 전력을 소비하지만 일부 적외선 또는 근적외선(IR, NIR) 센서와 같이 전체 기능에 충분한 레벨로 전력을 증가시키는데 상당한 시간이 필요한 컴포넌트의 경우, 중간 워밍업 시퀀스가 수행되는 동안의 중간 전력 상태는 상당한 전력을 절약하거나 잠재적으로 사용자 경험에 피해를 줄 수 있는 대기 시간을 눈의 띄게 줄일 수 있다.
도 1의 인증 시스템(114)의 얼굴 잠금 해제 센서(212), 디스플레이(116)의 터치스크린, 레이더 시스템(104) 및 프로세서(608)(예를 들어, 높은 전력 프로세서(608-2))와 같은 인증 시스템의 예시적 전력 소비 컴포넌트들이 위에 설명되었다. 인증을 위한 얼굴 인식 시스템의 많은 잠재적인 전력 소비 컴포넌트에 대한 자세한 내용은 도 2 및 해당 설명을 참조한다.
1008에서, 인증 시스템에 의해 인증 프로세스가 수행된다. 그렇게 함에 있어서, 인증 시스템(114)은 제2 전력 상태 또는 제3, 더 높은 전력 상태와 같은 변경된 전력 상태에서 전력 소비 컴포넌트를 사용한다. 인증 프로세스는 사용자를 인증하거나 UE(102)에 대한 액세스가 허용되지 않아야 함을 나타내도록 사용자가 인증되지 않았다고 결정하는데 효과적이다. 언급된 바와 같이, 인증 프로세스는 얼굴 인식, 지문 판독, 비밀번호 또는 터치 또는 오디오 인터페이스(예를 들어, 디스플레이(116)의 터치 스크린 데이터 입력 컴포넌트)를 통한 기타 자격 증명 입력 등을 통해 이루어질 수 있다. 인증 프로세스는 사용자 또는 자격 증명의 식별 피처를 비교 가능한 피처 또는 자격 증명의 일부 보안 저장과 비교하여 사용자의 신원이 인증되고 따라서 UE(102)에 대한 액세스가 허용되는지 결정한다. 이것은 디스플레이의 터치 스크린을 통해 입력된 6자리 암호를 비교하는 것처럼 간단할 수 있고, 전력 소비 컴포넌트에서 수신한 센서 데이터를 기반으로 얼굴 피처를 결정하고 결정된 얼굴 피처를 얼굴 피처 라이브러리에 비교하는 것과 같이 보다 높은 계산 및 시스템 복잡도가 요구될 수 있다. 필수는 아니지만, 이 얼굴 피처 라이브러리는 UE(102)에 로컬로 저장될 수 있고, 인증 시스템(114)을 사용하여 UE(102)에 의해 얼굴 피처 초기화 동안 생성될 수 있다. 더욱이, 이 라이브러리는 UE(102)와 통합된 보안 칩 상의 임베딩 형태와 같이 UE(102)에 안전하게 저장될 수 있다. 이것은 사용자(120)의 프라이버시가 유지될 수 있는 한 방법이다.
본 개시 전체에 걸쳐 컴퓨팅 시스템(예를 들어, UE(102), 클라이언트 디바이스, 서버 디바이스, 컴퓨터, 또는 다른 유형의 컴퓨팅 시스템)이 예를 들어 동작 1008에서 방금 언급한 얼굴 피처와 같이 사용자와 연관된 정보(예를 들어, 레이더, 관성 및 얼굴 인식 센서 데이터)를 분석할 수 있는 예가 설명된다. 그러나, 컴퓨팅 시스템은 컴퓨팅 시스템이 데이터를 사용하기 위해 컴퓨팅 시스템의 사용자로부터 명시적인 허가를 받은 후에만 정보를 사용하도록 구성될 수 있다. 예를 들어, UE(102)가 사용자를 인증하기 위해 얼굴 피처에 대한 센서 데이터를 분석하는 상황에서, 개별 사용자는 UE(102)의 프로그램 또는 구성이 데이터를 수집하고 사용할지 여부를 제어하기 위한 입력을 제공할 기회를 제공받을 수 있다. 개별 사용자는 프로그램이 센서 데이터로 수행할 수 있는 것과 수행할 수 없는 것을 지속적으로 제어할 수 있다. 추가로, 수집된 데이터는 그것이 전송, 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 사전-처리되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들어, UE(102)가 센서 데이터를 다른 디바이스와 공유하기 전에(예를 들어, 다른 디바이스에서 실행되는 모델을 트레이닝하기 위해), UE(102)는 센서 데이터를 사전-처리하여 데이터에 내장된 임의의 사용자 식별 정보 또는 디바이스 식별 정보를 제거한다. 따라서, 사용자는 사용자 및 사용자의 디바이스에 관한 정보가 수집되는지 여부 및 어떻게 수집되는지, 수집된다면, 컴퓨팅 디바이스 및 원격 컴퓨팅 시스템에 의해 어떻게 사용되는지에 대한 제어를 가진다.
방법(1000)으로 돌아가서, 1010에서, 대안적으로 또는 추가로, 디스플레이의 전력 상태는 사용자 장비가 이동했거나 이동하고 있다는 결정에 응답하여 변경된다. 이 변경은 디스플레이의 터치 입력 수신 기능을 가능하게 하거나 단순히 디스플레이의 시각적 표현을 변경하기에 충분한 전력을 증가시킬 수 있다. 하나의 예는 디스플레이(116)에 광도를 추가하여 사용자가 UE(102)를 터치할 때 UE(102)가 사용자의 의도를 인식하고 따라서 아마도 사용자(120)가 참여할 준비를 하고 있다는 것을 사용자가 볼 수 있도록 하는 것을 포함한다. 유사하게, UE(102)는 1002에서 결정된 참여 의도에 응답하여 그렇게 할 수 있다.
일부 경우에, 인증 프로세스는 일정 기간 동안 수행되거나 성공하지 않고 반복된다(예: 일부 미리 설정된 횟수 또는 기간). 그러한 경우에, 방법(1000)은 인증 프로세스를 다시 수행함으로써 계속하거나 1012에 도시된 바와 같이 1004에서 움직임의 결정에 응답하여 프로세스를 계속할 수 있다. 이 대안은 도 10에서 점선 화살표 중 일부와 함께 도시된다.
1014에서, 1008에서의 사용자의 인증 프로세스(또는 1012에서의 재수행)가 성공한 것에 응답하여, 사용자는 인증되고 UE(102)의 액세스 상태가 변경된다. 이러한 변경은 낮은-, 비- 또는 중간-액세스 상태에서 높은-액세스 상태로의 UE(102)의 액세스를 증가시킬 수 있고, 이러한 경우에, UE(102)는 "잠금 해제"된다. 그러나, 이러한 높은 액세스 상태(예를 들어, 도 5의 높은 액세스 상태(502-1))는 요구되지 않는다. 일부 인증 수준은 후속 인증을 위해 액세스, 전력 또는 정보를 예약할 수 있다. 예는 UE(102)의 애플리케이션 및/또는 계정(예를 들어, 음악을 구매하기 위한 계정, 은행 계정 등)의 전부가 아닌 일부의 사용을 위해 사용자를 인증하고, 이러한 예약된 액세스 계정 및 애플리케이션에 대한 추가 인증을 요구하는 것을 포함한다. 예를 들어, 높은 액세스 상태(502-1)에 더하여, 상태 관리자(112)는 UE(102)가 높은 정보 상태(506-1)에 놓이게 할 수 있다. 정보 상태에 대한 이러한 변경의 예는 웹페이지의 10페이지짜리 기사의 4페이지 또는 사용자(120)가 마지막으로 참여하거나 UE(102)에 인증된 곳을 재생하는 노래 또는 비디오 중간 부분과 같이 마지막으로 참여한 부분을 포함하여 마지막으로 참여한 애플리케이션 또는 웹페이지를 제시하는 것을 포함한다. 상태 관리자(112)는 사용자(120)의 인증에 응답하여 이러한 상태를 빠르고 원활하게 변경할 수 있다.
예로서, 방법(1000)의 적용을 도 11에 예시된 시나리오(1100)에 적용하는 하나의 구현예를 고려한다. 시나리오(1100)는 5개의 부분을 포함하고, 각 부분은 이전 부분에 시간순으로 뒤따른다. 시나리오 부분(1100-1)에 도시된 시나리오(1100)의 제1 부분에서, 사용자(1102)는 스마트폰(1104)을 보거나, 만지거나, 그렇지 않으면 이에 참여하지 않는다. 스마트폰(1104)이 각각 낮은 액세스, 낮은 전력 및 낮은 정보 상태(502-3, 504-3, 506-3)에 있다고 가정하자(예를 들어, 스마트폰(1104)은 꺼진 것으로 보이지만, 참여 의도를 결정하기에 충분한 전력을 가진다). 이 시나리오 부분(1100-1)은 도 10의 1002에서 방법의 동작 이전의 상황으로 가정된다. 사용자(1102)가 스마트폰(1104)을 향하여 바라보지만 만지지는 않는 제2 부분이 1100-2에 도시되어 있다. 이 시점에서, 동작(1002)에서 기법은 레이더 데이터에 기초하여 사용자(1102)가 스마트폰(1104)에 참여할 의도를 결정한다. 이러한 참여 의도는 리치 움직임을 사용하지 않고 결정되지만 대신에 사용자(1102)가 스마트폰(1104)을 바라보고 몸을 향하게 하는 것에 기초한다. 기법은 동작(1002)에서 레이더 관리자(106)를 통해 이러한 결정을 하고, 이는 결정을 상태 관리자(112)에 전달한다. 그 후, 상태 관리자(112)는 동작(1006)에서 인증 시스템(114)의 전력 소비 컴포넌트(얼굴 잠금 해제 센서(212))의 전원 상태를 변경한다. 이는 사용자가 스마트폰(1104)을 향해 손을 뻗거나 집기 전에 수행되어 인증 시스템(114)이 사용자를 인증할 준비가 되도록 하는데 있어서 지연을 줄인다.
또한, 다음 0.5초 동안 전력 소비 컴포넌트의 전원이 켜지는 동안 사용자(1102)가 스마트폰(1104)에 더 가까이 이동하여 스마트폰(1104)에 도달한다고 가정한다(손(1106)으로 표시된 리치). 이것은 제3 부분(1100-3)에 도시되어 있다. 이 시점에서 인증 시스템(114)은 인증 프로세스를 수행하지만(동작 1008), 인증 프로세스가 몇 번의 반복 및/또는 일정 기간 동안 성공적이지 않다고 가정한다. 기법은 사용자(1102)를 인증하려는 시도를 중단할 수 있으며, 이에 따라 전력을 절약할 수 있다. 그러나, 여기서, 부분(1100-4)에 도시된 바와 같이, 사용자(1102)는 스마트폰(1104)을 터치한다. 이것은 동작(1004)에서 도 1의 IMU(108)에 의해 감지된 관성 데이터를 통해 스마트폰(1104)의 움직임으로 결정된다. 이 움직임 결정은 상태 관리자(112)로 전달된다. 이 움직임에 기초하여, 상태 관리자(112)는 방법(1000)의 동작(1012)에 의해 예시된 바와 같이 인증 시스템(114)이 사용자(1102) 인증을 시도하게 한다. 또한, 동작(1010)에서, 그리고 또한 움직임에 기초하여, 상태 관리자(112)는 스마트폰(1104)의 디스플레이(1108)를 조명한다. 이러한 조명, 또는 디스플레이(1108)의 전력 레벨 증가는 시나리오 부분(1100-2, 1100-3, 또는 11004)에서 수행될 수 있지만, 여기서 스마트폰(1104)의 사용자(1102) 터치를 결정하는 것에 응답하여 도시된다(1110에서 시간 및 알림 정보로 도시됨). 그렇게 함으로써, 사용자(1102)는 스마트폰(1104)이 사용자가 참여할 의도를 알고 있다는 피드백을 받는다.
언급된 바와 같이, 상태 관리자(112)는 인증 시스템(114)이 인증 프로세스를 계속하게 하고, 이러한 계속된 시도를 통해 사용자(1102)를 인증한다. 이것은 부분(1100-5)에 나타나 있으며, 결과적으로 스마트폰(1104)은 다른 상태, 잠금 해제 아이콘(1112)을 표시하는 디스플레이(1108)와 함께 표시된 높은 액세스 상태(502-1)를 포함하여, 높은 액세스, 높은 전력 및 높은 정보 상태(501-1, 504-1 및 506-1)에 각각 있게 된다. 이러한 상태 레벨은 상태 관리자(112)에 의해 자동으로 상승되어 사용자(1102)에게 끊김 없는 사용자 경험을 제공할 수 있다.
이 예시적인 시나리오(1100)에서, IMU(108)에 의해 제공된 관성 데이터는 상태 관리자(112)가 더 높은 수준의 신뢰도로 사용자(1102)가 스마트폰(1104)에 참여할 의도가 있고 따라서 그들이 인증되기 원하는 것을 확인하게 하고 따라서 추가 전력을 정당화한다. 이것은 IMU의 관성 데이터와 레이더 시스템의 레이더 데이터를 사용하여 전력 소비를 줄이면서 빠르고 쉽게 사용자를 인증하는 방법을 보여주는 한 가지 예시적 시나리오에 불과하다.
높은 레벨 상태 감소
도 12는 IMU 및 레이더를 통해 높은 레벨 상태를 감소시키기 위한 예시적인 방법(1200)을 도시한다. 방법(1200)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법(본 문서에 기술된 다른 방법 포함)(예: 방법 1000 및 1400)을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단지 예시적인 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
선택적으로, 1202에서 그리고 동작(1204 또는 1206) 이전에, 비활동 기간이 만료된 것으로 결정된다. 기간의 만료에만 의존하는 일부 다른 종래 기법과 대조적으로, 방법(1200)은 사용자 장비에 대한 높은 레벨 상태를 감소시키기 위해 비활동 기간을 사용하거나 사용하지 않을 수 있다. 이 비활성 타이머는 필요하지 않지만 타이머를 사용하면 짧은 타이머라도 일부 경우에 전력을 절약할 수 있다. 보다 상세하게는, 터치 스크린 또는 버튼에 대한 마지막 터치, 오디오 명령 또는 제스처 입력이 사용자 장비에 의해 수신되었을 때와 같이 사용자 장비와의 마지막 사용자 액션이 수신될 때 비활성 타이머가 시작된다. 일부 종래 기법은 타이머를 단독으로 사용하고 이러한 종래 타이머 때문에 종종 몇 분(예를 들어, 1분, 3분, 5분 또는 10분) 동안 지속되지만, 방법(1200)은 1.5초, 1, 3, 5, 10, 20초과 같이 비교적 짧은 시간 기간을 사용할 수 있다. 그렇게 함으로써, 사용자 장비가 정보를 노출하고, 부적절한 액세스를 가능하게 하는 등의 가능성이 매우 낮으며, 짧은 비활성 시간 기간의 사용은 비활성 기간 동안 동작(1204 및/또는 1206)을 수행하는 것을 막음으로써 일부 전력을 절약하도록 동작할 수 있다.
1204에서, 사용자가 사용자 장비와 인터렉션 중이거나 최근에 사용자 장비와 인터렉션한 사용자 장비의 높은 레벨 상태 동안 움직임이 결정된다. 움직임 관리자(110)는 UE(102)와 통합된 IMU(108)로부터 수신된 관성 데이터에 기초하여 이 움직임을 결정한다. 점선 화살표로 도시된 바와 같이, 이 동작은 선택적으로 동작(1206 및/또는 1202)(미도시)에 대한 응답일 수 있다. 이 결정된 움직임은 사용자(120)가 UE(102)를 집어 들고, UE(102)를 들은 채로 걷고, 내려놓거나, 주머니나 인클로저에 넣거나, 또는 단순히 UE(102) 근처를 만지거나 UE(102)를 터치하는 것을 표시하는 움직임과 같은 상기 기술한 다양한 움직임 중 하나 이상일 수 있다. 일부 경우에, 움직임 관리자(110)는 움직임이 UE(102)의 상태를 변경하기에 충분하거나 충분하지 않다고 결정하여 상태 관리자(112)에 전달한다. 그 예는 임계치 움직임을 넘지 못한 것, 주변 진동으로 인한 것, 그리고 움직이는 동안 진행 중인 움직임에 대한 충분한 변화가 아닌 것과 같이 위에서 언급한 것들을 포함한다. 따라서, 움직임 관리자(110)는 사용자(120)가 UE(102)와 함께 걸을 때 UE(102)가 움직이고 있다고 결정할 수 있지만, 그 움직임은 사용자(120)가 UE(102)로부터 이탈될 수 있다는 가능성을 표시하기에 충분한 변화가 아닌 것으로 결정될 수 있다. 이를 보는 또 다른 방법은 움직임이 UE(102)의 현재 이동이 아니라 변경에 기초할 수 있다는 것이다. 예시적 변경은 사용자가 UE(102)와 함께 걷고 테이블 위에 놓는 것과 같이 이동한 다음 이동하지 않는 것을 포함한다. IMU(108)로부터의 관성 데이터가 사용자(120)가 UE(102)를 테이블 위에 놓는 것을 포착하지 못할 수 있지만, 관성 데이터가 직전에 움직임이 있었을 때(사용자(120)가 UE(102)와 함께 걷고 있을 때) 움직임이 거의 또는 전혀 보이지 않았다는 결정은 이 직전 움직임에 기초하여 동작(1204)에서 움직임으로 여전히 결정된다.
더 자세하게, 기법은 사용자 장비의 상태를 사용자의 참여에 맞게 조정할 수 있다. 따라서, 일부 경우에 사용자 장비는 사용자 장비에 고도로 참여하고 있기 때문에 높은 레벨 상태(또는 상태들)에 있다. 예를 들어, 방법(1200)은 동작(1204 또는 1206) 이전에 사용자가 사용자 장비와 인터렉션하고 있는지 결정할 수 있다. 사용자의 참여에 대한 이러한 결정은 사용자의 참여 의도를 표시하는 이전 레이더 데이터, 사용자로부터의 오디오 또는 터치 입력, 사용자로부터 수신된 명령 또는 입력 및 오디오 또는 터치 센서를 통해 성공적인 인증 프로세스 등에 기초될 수 있다.
1206에서, 이탈 의도는 레이더 데이터에 기초하여 사용자 장비에 의해 결정된다. 레이더 관리자(106)는 레이더 시스템(104)으로부터 레이더 데이터를 수신하고, 이 레이더 데이터를 사용하여 사용자가 UE(102)로부터 이탈할 의도인지 여부를 결정한다. 이러한 이탈 의도는 UE(102)로부터 사용자(120)의 손 후퇴, UE(102)에 대한 얼굴 방향 변경, 사용자(120)가 UE(102)로부터 등을 돌리거나 UE(102)에 등을 향하는 것과 같은 위에서 설명된 다양한 유형을 포함한다.
점선 화살표로 도시된 바와 같이, 이 동작(1206)은 선택적으로 동작(1204) (및/또는 1202, 미도시)에 대한 응답일 수 있다. 이러한 경우에 상태 관리자(112) 또는 레이더 관리자(106)는 움직임이 결정될 때까지 사용자(120)의 이탈 의도를 결정하는 것을 삼가함으로써 전력을 보존하도록 작동하고, 1204에서 움직임 결정을 위해 그 반대도 마찬가지이다. 그렇게 함으로써 전력을 보존할 수 있다. 따라서, 전력 관리 모듈(620)은 1204에서 움직임이 결정될 때까지 레이더 시스템(104)을 감소된 전력으로 유지하는 기법에 의해 지시될 수 있다. 일단 움직임이 결정되면, 상태 관리자(112)는 전력 관리 모듈(620)이 사용자(120)가 이탈 의도를 나타내는 방식으로 동작하고 있는지 여부를 결정하기 위한 준비로 레이더 시스템(104)에 대한 전력을 증가시키게 한다.
1208에서, 사용자 장비의 높은 레벨 상태는 움직임의 결정 및/또는 이탈 의도에 응답하여 중간 레벨 또는 낮은 레벨 상태로 감소된다. 더 상세하게는, 액세스, 전력 또는 정보를 포함하는 하나 또는 다수의 상태, 예를 들어, 도 5에 예시된 상태일 수 있는 예시적인 상위 레벨 상태(1208-1)를 참조한다(높은 액세스 상태(502-1), 높은 전력(504-1) 또는 높은 정보 상태(506-1)). 상태 관리자(112)는 움직임의 결정 또는 이탈 의도 또는 둘 모두에 응답하여 UE(102)의 상태 중 하나 이상을 감소시키기로 결정한다. 이것은 도 12에 높은 레벨(1208-1)에서 중간 레벨(1208-2) 또는 낮은 레벨(1208-3)으로의 감소를 나타내는 화살표와 함께 도시되어 있다. 이는 전력, 액세스 및 정보의 다양한 세분성 중 두 가지에 불과하다. 도 5에 도시된 바와 같이, 중간 레벨(1208-2) 및 낮은 레벨(1208-3)은 각각 위에 설명된 중간 액세스 상태(502-2), 중간 전력 상태(504-2) 및 중간 정보 상태(506-2)를 포함한다. 낮은 레벨(1208-3)은 3개의 낮은 상태, 낮은 액세스 상태(502-3), 낮은 전력 상태(504-3) 및 낮은 정보 상태(506-3)로 예시된다. 이러한 상태는 위에 자세히 설명되어 있다. 이들 상태 중 임의의 하나, 둘 또는 셋 모두는 동작(1208)에서 상태 관리자(112)에 의해 동일한 레벨 또는 상이한 레벨로 감소될 수 있다. 따라서, 상태 관리자(112)는 높은 액세스 상태(502-1)를 중간 또는 낮은 상태로 감소시킬 수 있고, 전력 상태 및 정보 상태를 높음 또는 혼합 레벨로 유지할 수 있다. 유사하게, 상태 관리자(112)는 UE(102)를 높은 액세스 상태(502-1)(예를 들어, "잠금 해제")로 유지하면서 전력 상태(504)를 낮은 전력 상태(504-3)로 감소시킬 수 있다.
예로서, 도 13에 예시된 시나리오(1300)에 대한 방법(1200)의 적용을 고려한다. 시나리오(1300)는 3개의 부분을 포함하고, 각 부분은 이전 부분에 시간순으로 뒤따른다. 시나리오(1300)의 제1 부분 이전에, 사용자(1302)가 스마트폰(1304)에 능동적으로 참여하고 있고 스마트폰(1304)이 높은 레벨 상태, 즉 전력, 액세스 및 정보 상태에 있다고 가정한다. 시나리오 부분(1300-1)에 도시된 제1 부분에서, 사용자(1302)는 테이블로 걸어가서 테이블 위에 스마트폰(1304)을 놓는다. 동작(1204)에서, IMU(108)는 테이블 위에 스마트폰(1304)의 터치에 대한 관성 데이터 또는 테이블 위에 놓이기 전에 관성 데이터가 움직임을 나타낸 경우 관성 데이터의 부족(사용자(1302)이 스마트폰(1304)와 함께 걷는 것에 기초하여)을 수신한다. 이들 관성 데이터 중 하나 또는 둘 모두에 기초하여, 움직임 관리자(110)는 스마트폰(1304)에 대한 움직임을 결정하고 이 결정을 레이더 관리자(106) 및/또는 상태 관리자(112)에 전달한다.
레이더 관리자(106)가 움직임 데이터에 즉시 응답하거나 이미 그렇게 하고 있었던 레이더 필드(118)(시각적 간결함을 위해 도시되지 않음, 예를 들어 도 1 참조)를 제공하고, 따라서 사용자(1302)의 신체 포지션 등을 나타내는 레이더 데이터를 수신한다고 가정한다. 이 레이더 데이터에 기초하여, 레이더 관리자(106)는 신체, 팔 및 손 배치에 대한 동작(1206)에서 사용자(1302)가 시나리오 부분(1300-1)에서 이탈 의도가 없다고 제1 반복(및 아마도 다수의 다른 반복)에 대해 결정한다. 이는 사용자(1302)가 스마트폰(1304)을 향한 신체 배향을 갖고 사용자의 손과 팔이 스마트폰(1304)을 향하고 있기 때문이다. 이 때문에 높은 정보 상태 1306-1은 변경되지 않는다.
그러나, 시나리오 부분(1300-2)에서, 대략 2초 후, 사용자(1302)가 그의 커피 잔을 들고 스마트폰(1304)으로부터 몸을 돌리면서 멀어지기 시작한다고 가정한다. 이 시점에서, 레이더 관리자(106)는 사용자(1302)의 신체 방향이 스마트폰(1304)에서 부분적으로 멀어지고 사용자(1302)의 팔과 손이 스마트폰(1304) 아닌 커피잔을 향하고 있는 것에 기초하여 사용자(1302)가 스마트폰(1304)으로부터 이탈 의도가 있다고 결정한다. 레이더 관리자(106)는 이 결정을 상태 관리자(112)에 전달한다.
동작(1208)에서, 결정을 움직임 및 이탈 의도를 수신하는 것에 응답하여, 상태 관리자(112)는 스마트폰(1304)의 정보 상태를 시나리오 부분(1300-1)에 도시된 높은 정보 상태(1306-1)로부터 중간 정보 상태(1306-2)로 감소시킨다. 이러한 예시적인 정보 상태는 2개의 문자 메시지 및 시간으로부터의 콘텐츠를 보여주는 시나리오 부분(1300-1)에 표시된 정보와 함께 표시된다. 사용자(1302)가 몸을 돌리고 커피잔을 집는 즉시, 정보 상태가 중간 정보 상태(1306-2)로 감소되며, 시간과 문자 메시지에 대한 축소된 정보(컨텍스트 없이 발신자의 이름으로 표시됨)가 표시된다. 이 중간량의 정보는 사용자(1302)에게 유용할 수 있는데, 이는 사용자(1302)가 참여에 대한 마음을 바꾸거나 다른 사람으로부터의 문자와 같은 새로운 알림이 도착했는지 확인하기 위해 스마트폰(1304)을 다시 보고 싶어할 수 있기 때문이다.
또한 또는 중간 정보 상태(1306-2)를 보여주는 대신에, 그리고 동작(1208)의 일부로서, 상태 관리자(112)는 중간 상태에 있는 즉시 또는 직후에 낮은 레벨로 진행할 수 있다. 여기에서 상태 관리자(112)는 사용자(1302)가 이탈 의도 또는 이탈 의도의 보다 높은 신뢰도(예를 들어, 사용자(1302)가 이제 몇 미터 떨어져 스마트폰(1304)에 완전히 등을 돌리고 있기 때문에 높은 신뢰도로 표시됨)를 나타내는 레이더 관리자(106)에 의한 추가 결정에 응답하여, 정보 상태를 낮음 정보 상태(1306-3)로 더 감소시키며, 이는 하루 중 현재 시간만을 제시하는 시나리오 부분(1300-3)으로 도시된다.
이 예는 정보 상태에 대한 변경 사항을 보여주지만 액세스 및 전원이 변경될 수 있고 대신 변경될 수도 있다. 이것은 높은 레벨의 액세스(예를 들어, 도 5의 높은 레벨 액세스(502-1))를 나타내는 시나리오 부분(1300-1)에 도시된 잠금 해제 아이콘(1310)과 함께 부분적으로 도시된다. 상태 관리자(112)가 움직임 데이터 및 이탈 의도를 수신한 후 시나리오 부분(1300-2)에서, 상태 관리자(112)는 잠금 아이콘(1312)으로 사용자에게 표시되는 낮은 레벨로 액세스를 감소시킨다. 또한, 예를 들어 시나리오 부분(1300-2 및/또는 1300-3)에서 스마트폰(1304) 디스플레이(미도시)의 광도를 감소시키는 것과 같이 전력 상태가 변경될 수 있다.
인증된 상태 유지하기
도 14는 인증된 상태를 유지하기 위한 예시적 방법(1400)을 도시한다. 방법(1400)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법(본 문서에 기술된 다른 방법 포함)(예: 방법 1000 및 1200)을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단지 예시적인 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
방법(1400)을 논의하기 전에, 전체 또는 부분적으로 위에 설명된 임의의 방법이 방법(1400)과 결합될 수 있다. 예를 들어, 도 10의 방법(1000)의 수행을 고려한다. 이 방법(1000)은 사용자 장비의 사용자 인증을 초래하는 인증 관리의 일례를 설명한다. 이 인증에 응답하여 사용자 장비는 인증된 상태로 진입한다. 이 상태는 위에서 더 자세히 설명되어 있다. 따라서, 방법(1000)(또는 사용자의 어떤 다른 인증 방식)은 방법(1400) 이전에 수행된다.
1402에서, 사용자 장비의 인증된 상태 동안, 사용자 장비의 사용자에 의한 잠재적인 이탈이 결정된다. 사용자에 의한 잠재적인 이탈에 대한 이러한 결정은 위에서 언급한 바와 같이 사용자에 의한 이탈 의도를 결정하는 것 및 아래에 설명된 다른 결정을 포함할 수 있다. 또한, 위에서 언급한 바와 같이, 인증된 상태는 사용자에 의한 하나 이상의 데이터, 애플리케이션, 기능, 계정 또는 사용자 장비의 컴포넌트에 대한 액세스를 허용한다. 인증된 상태의 예는 위의 도 5에 언급된 높은 액세스 상태(502-1) 및 중간 액세스 상태(502-2)를 포함한다. 이러한 액세스 상태 중 하나는 인증된 상태(종종 사용자 선호도 또는 운영 체제 기본 설정에 기초함)에 있을 때 UE(102)에 의해 허용될 수 있지만, 인증된 상태는 사용자의 이전 인증을 가정한다. 그러나 사용자가 선택한 선호도 또는 설정은 인증 없이 UE(102)의 높은 또는 중간 액세스를 허용할 수 있다. 따라서, 인증된 상태는 위에서 언급한 높은 및 중간 액세스 상태에 의해 허용된 액세스를 포함할 수 있지만 높은 및 중간 액세스는 반드시 인증된 상태는 아니다.
도 14에 도시된 바와 같이, 잠재적인 이탈의 결정은 선택적으로 동작(1404) 또는 동작(1406)에 응답하여(또는 수행을 통해) 수행될 수 있으며, 예를 들어 방법(1200)의 동작(1206)에서 이탈 의도를 결정하는 것과 같이 여기에 설명된 다른 방식으로 수행될 수 있다. 1404에서, 비활동 기간의 만료가 결정된다. 위에서 언급한 바와 같이, 이 비활성 기간은 마지막 사용자 액션이 수신될 때, 사용자 장비와의 활성 참여가 종료될 때(또는 마지막으로 수신될 때), 또는 마지막 참여 의도가 결정되었을 때 시작될 수 있다. 예를 들어, 비활성 타이머(예: 시간 기간)는 사용자가 터치 감지 디스플레이 또는 버튼을 마지막으로 터치하거나, 마지막으로 수신된 오디오 명령을 말하거나, 마지막으로 결정된 터치 독립 제스처(예: 제스처 위에서 언급한 레이더 시스템(104)을 사용하여 결정됨)이 수행된 경우 시작한다.
1406에서, 사용자 장비와 통합된 관성 측정 유닛(IMU)의 관성 데이터에 기초하여 사용자 장비의 움직임이 결정된다. 도 1의 IMU(108)로부터 수신된 관성 데이터와 같은 예시적 움직임 및 관성 데이터가 위에서 설명되었다. 따라서, 움직임 결정은 UE(102)를 사물함, 가방 또는 주머니에 넣는 것과 같이(아래 언급과 같이 가방이나 주머니에 넣는 것이 나중에 수동적 참여로 결정될 수 있음에도) 사용자가 잠재적으로 이탈하고 있다고 결정할 수 있는 한 가지 방법이다.
1408에서, 사용자 장비와의 사용자에 의한 수동적 참여가 레이더 데이터에 기초하여 결정된다. 수동적 참여의 이러한 결정은 1402에서의 잠재적 이탈(점선 화살표로 표시됨)의 결정에 응답할 수 있거나, 그 결정과 독립적이거나 일치할 수 있다. 잠재적 이탈의 결정에 응답하여 동작(1408)을 수행하는 것은 일부 경우에 전력을 절약하거나 지연을 감소시킬 수 있다. 예를 들어, 방법(1400)은 잠재적 이탈의 결정에 응답하여 레이더 시스템(104)의 컴포넌트에 대한 전력을 증가시킬 수 있다(도 6-1 및 6-2 참조). 이것은 위에서 언급한 바와 같이 전력을 절약하거나 레이더 시스템(104)이 사용자가 레이더 시스템(104)에 수동적으로 참여하는지 여부를 결정하기 위해 준비하는 추가 시간을 제공할 수 있다.
도 1의 맥락에서, 레이더 관리자(106)는 사용자(120)가 UE(102)와 수동적으로 참여하고 있다고 결정한다. 이러한 수동적 참여는 여러 방식으로 레이더 관리자(106)에 의해 결정될 수 있으며, 이는 배타적이거나 서로 중첩될 수 있다. 예를 들어, 레이더 관리자(106)는 사용자(120)의 손이 사용자 장비(102)의 디스플레이(116)가 유지되는 방향에서 사용자 장비(102)를 잡고 있다는 것을 나타내는 레이더 데이터에 기초하여 사용자가 수동적으로 참여하고 있다고 결정할 수 있다. 따라서, 사용자(120)가 UE(102)를 안정적으로(또는 콘텐츠를 보거나 다른 사람이 콘텐츠를 볼 수 있도록 허용하기에 충분히 안정적으로) 잡고 있으면 사용자(120)는 수동적으로 참여한다. 사용자(120)가 UE(102)를 바라보거나 사용자의 몸을 UE(102)를 향하게 하는 것을 포함하여 수동적 참여를 결정하는 다른 예가 위에 설명되어 있다.
또한, 레이더 관리자(106)는 사용자(120)가 존재함을 나타내는 레이더 데이터에 기초하여, 예를 들어 UE(102)의 2미터 내에 있는 것과 같이 수동적 참여를 결정할 수 있다. 1.5미터, 1미터 또는 1/2미터와 같은 다른 거리도 또는 대신에 사용될 수 있다. 사실상, 레이더 관리자(106)는 사용자(120)가 대략 UE(102)의 도달 범위 내에 있음으로써 수동적으로 참여하고 있다고 결정할 수 있다. 레이더 관리자(106)는 사용자(120)가 수동적으로 참여하고 있음을 표시함으로써 명시적으로 그렇게 하거나 단순히 UE(102)로부터의 거리를 표시하는 정보를 상태 관리자(112)에 전달할 수 있다. 그런 다음 상태 관리자(112)는 사용자(120)의 근접성 및 일부 경우에는 다른 사람이 있는지(또는 없는지), 사용자(120)가 차량(자동차, 버스, 기차)에 있는지, 책상 등에 있는지 여부와 같은 컨텍스트에 기초하여 수동적 참여를 결정한다. 예를 들어, 집에 앉아 있는 사용자는 붐비는 커피숍이나 기차에 앉아 있는 사용자보다 더 큰 허용 거리를 가질 수 있다.
1410에서, 사용자에 의한 사용자 장비에의 수동적 참여의 결정에 응답하여, 인증된 상태가 유지된다. 인증된 상태의 이러한 유지는 또 다른 잠재적인 이탈이 결정될 때까지 또는 어떤 시간 기간 동안 계속될 수 있으며, 그 후에 방법(1400)이 다시 수행될 수 있다. 인증된 상태의 한 예는 도 5의 높은 액세스 상태(502-1)이다. 많은 상황에서 이 인증된 상태는 UE(102)에 대한 잠금 해제 상태이지만, 일부 다른 경우에 인증된 상태는 위에서 설명된 중간 액세스 상태(502-2)와 같이 UE(102)에 대한 모든 액세스가 아닌 일부 액세스를 허용한다.
UE(102)에 대한 인증된 상태의 이러한 유지는 다른 상태들이 유지될 것을 요구하지 않는다. 예를 들어, 사용자(120)가 UE(102)의 2미터 이내에 있지만 UE(102)를 바라보거나 지향하지 않을 수 있는 경우에, 상태 관리자(112)는 예를 들어, 높은 전력 상태(504-1) 및 높은 전력 상태(506-1)로부터 도 5에 언급된 중간 또는 낮은 전력 또는 정보 상태로 UE(102)의 전력 상태 또는 정보 상태를 감소시킬 수 있다. 그러나, 수동적 참여가 UE(102)를 바라보는 사용자를 포함하는 경우, 디스플레이(116)를 통해 사용자(120)에게 콘텐츠를 계속 제시하기 위해 전력 또는 정보 상태도 유지될 수 있다.
선택적으로, 방법(1400)은 레이더 데이터에 기초하여 비-사용자의 존재 또는 참여 의도가 결정되는 동작(1412)으로 진행할 수 있다. 이 레이더 데이터는 수동적 참여의 기반이 되는 레이더 데이터로부터 몇 초 또는 몇 분 후에 수신된 레이더 시스템(104)으로부터의 레이더 데이터와 같은 동일하거나 나중에 수신된 레이더 데이터일 수 있다. 따라서, 1412에서 레이더 관리자(106)는 비-사용자가 존재하거나 UE(102)에의 참여 의도가 있다고 결정한다. 따라서, 비-사용자가 UE(102)에 도달하거나 UE(102)의 디스플레이(116)를 보는 경우, 레이더 관리자(106)는 이러한 존재 또는 의도를 결정하고 이를 상태 관리자(112)에 전달할 수 있다.
1414에서, 비-사용자가 존재하거나 사용자 장비에의 참여 의도가 있다는 결정에 응답하여, 인증된 상태의 유지가 중단된다. 따라서, 비-사용자가 UE(102)의 디스플레이(116)에 걸어오거나, 도달하거나, 바라보면, 상태 관리자(112)는 UE(102)의 인증된 상태를 유지하는 것을 중단한다(또는 능동적으로 인증을 해제한다). 이러한 중단과 함께, 상태 관리자(112)는 또한 비-사용자에게 제공된 정보를 감소 또는 제거하는데 효과적인 정보 상태와 같은 다른 상태를 감소시킬 수 있다. 예를 들어 인증된 사용자가 지하철에서 개인 이메일을 읽고 있다고 가정한다. 사용자 뒤에 앉아 있는 사람이 개인 이메일을 읽기 위해 디스플레이를 보는 경우, 상태 관리자(112)는 UE(102)를 잠그고 개인 이메일 표시를 중단할 수 있다. 이는 빠르고 원활하게 수행되어 사용자의 프라이버시를 더욱 향상시킨다.
1416에서, 선택적으로 인증된 상태를 유지하는 것을 중단한 후, 비-사용자가 더 이상 존재하지 않거나 더 이상 참여할 의도가 없다는 결정에 응답하여 방법은 인증된 상태로 복귀될 수 있다. 위의 예를 계속하면, 지하철의 비-사용자가 UE(102)의 디스플레이(116)에서 시선을 돌릴 때, 상태 관리자(112)는 인증 절차를 통해 또는 재인증없이 단순히 인증 상태로 다시 돌아가 사용자(120)를 재인증할 수 있다. 따라서, 사용자(120)는 인증 해제를 야기한 조건의 중단 즉시 이전 상태로 간단히 돌아갈 수 있다. 여기에 설명된 시스템 및 프로세스와 같은 일부 인증 프로세스는 빠르고 전력 효율적이지만 인증 프로세스를 수행하지 않는 것이 더 빠르고 전력 효율적일 수 있다. 인증된 상태로 돌아갈 때, 상태 관리자(112)는 사용자(120)에게 마지막으로 제공된 콘텐츠와 일치하는 콘텐츠에서 이전 레벨로 정보 상태를 복귀할 수 있다. 이 예에서, 비-사용자가 시선을 돌릴 때, 디스플레이(116)는 UE(102)가 사용자(120)에게 마지막으로 제시한 동일한 위치에서 개인 이메일을 제시한다. 이를 통해 사용자에게 원활한 인증 관리 및 향상된 정보 프라이버시를 제공한다. 사용자(120)에 의한 선택은 인증 해제를 위한 사용자 선택과 같은 기법의 동작을 오버라이드할 수 있다. 일부 경우에, 사용자(120)는 여기에 설명된 방법에 의해 허용되는 UE(102)를 단순히 턴오프한다.
시나리오(1500)를 통해 도 15에 예시된 다른 예를 고려한다. 시나리오(1500)는 4개의 부분을 포함한다. 제1 부분(1500-1)에서, 사용자(1502)가 예를 들어 자격 증명 또는 얼굴 피처 분석을 통해 스마트폰(1504)에 대해 인증되었고, 따라서 스마트폰(1504)이 인증된 상태(1506)에 있다고 가정한다. 이 인증된 상태(1506)는 사용자(1502)가 스마트폰(1504)에 액세스하는 것을 허용하며, 이는 화산 폭발에 관한 텔레비전 프로그램을 시청함으로써 스마트폰(1504)의 콘텐츠에 액세스하는 사용자(1502)를 통해 보여진다.
시나리오(1500)는 2개의 상이한 경로를 따라 발산하는 것으로 도시된다. 한 경로에서, 비활동 타이머는 사용자(120)가 스마트폰(1504)을 터치하거나 입력을 제공하는 것을 중단할 때 시작되며, 여기에서 그들이 텔레비전 프로그램을 보기 위해 긴장을 풀 때이다. 다른 경우에, 비활성 타이머가 시작되거나 시작되지 않을 수 있지만 만료 없이 잠재적인 이탈이 결정된다. 따라서, 시나리오 부분(1500-2)에서, 비활성 3분 후에 비활성 타이머가 만료된다. 도 14로 돌아가면, 동작(1402)은 동작(1404)에서 만료되는 비활동 기간으로 인해 사용자에 의한 잠재적인 이탈이 발생했다고 결정한다. 시나리오 부분(1500-3)에 도시된 제2 경로에 대해, 동작(1402)은 관성 데이터에 기초하여 동작(1406)의 수행을 통해 스마트폰(1504)의 움직임이 발생했다고 결정함으로써 사용자에 의한 잠재적인 이탈이 발생했다고 결정한다. 이러한 움직임의 원인은 사용자(1502)가 스마트폰(1504)이 놓여 있는 테이블의 가장자리에 발을 놓는 것이다.
잠재적인 이탈에 대한 이러한 결정 중 하나에 응답하여 레이더 관리자(106)는 레이더 데이터에 기초하여 사용자(1502)가 스마트폰(1504)과 수동적으로 참여하고 있다고 결정한다. 이 동작은 1408에서 수행된다. 여기서 사용자(1502)의 존재 또는 스마트폰(1504)을 보는 것이 결정되고, 둘 중 하나는 사용자(1502)가 수동적으로 참여하고 있음을 나타내는 것으로 가정한다.
이에 응답하여, 동작(1410)에서, 상태 관리자(112)는 인증된 상태를 유지한다. 이 모든 것은 사용자(1502)가 그것이 수행되었다는 것을 알아차리지 않고 매끄럽게 수행될 수 있다. 시나리오 부분(1500-4)에 도시된 바와 같이, 스마트폰(1504)은 단순히 어느 한 경로를 통해 텔레비전 프로그램을 계속해서 제시한다.
시나리오(1500)를 따르거나 대안적인 독립형 시나리오일 수 있는 도 16의 다른 시나리오(1600)를 고려한다. 시나리오(1600)는 3개의 시나리오 부분을 포함하고, 제1 시나리오 부분(1600-1)에서, 사용자(1502)는 도 15에 도시된 것과 유사하게 화산에 관한 텔레비전 프로그램을 시청하고 있으며, 여기에서는 스마트폰(1504)의 콘텐츠(1602)로 표시되어 있다. 스마트폰(1504)은 도 15에 언급된 인증된 상태(1506)와 같은 프로그램의 이러한 제시 중에 인증된 상태에 있다.
그러나 시나리오 부분(1600-2)에서, 비사용자(1604)는 사용자(1502)와 함께 소파에 앉는다. 이 비-사용자(1604)는 사용자(1502)의 동료이므로 사용자(1502)는 그에게 고개를 돌리고 그와 대화하기 시작한다. 사용자(1502)의 이러한 액션은 위에서 언급한 바와 같이 머리를 돌리거나 말하는 것 또는 둘 다를 잠재적인 이탈로 간주될 수 있다. 사용자(1502)에 의한 잠재적인 이탈이 고려된다면, 상태 관리자(112)는 도 5 및 12(예를 들어, 방법(1200)의 동작 1206 및 1208)에 언급된 액세스 상태 또는 정보 상태를 감소시키는 것과 같이 스마트폰(1504)의 상태를 감소시킨다.
그러나 레이더 관리자(106)가 방법(1400)의 동작(1412)을 통해 그리고 레이더 데이터에 기초하여 비-사용자(1604)의 존재를 결정한다고 가정하자. 비-사용자(1604)의 이러한 존재에 기초하여, 상태 관리자(112)는 상태 관리자(112)가 스마트폰(1504)의 인증된 상태를 유지하도록 이전에 작동한 후(예를 들어, 도 15에 도시된 동작(1410)을 통해) 인증된 상태(1506)를 유지하는 것을 중단한다. 따라서, 상태 관리자(112)는 스마트폰(1504)이 시나리오 부분(1600-2)의 확대도에 도시된 비인증 상태(1604)로 감소되게 할 수 있다. 이 변경은 잠금 아이콘(1606)을 통해 사용자(1502)에게 보여질 뿐만 아니라 콘텐츠(1602) 표시를 중단함으로써 보여진다.
시나리오 부분(1600-3)에서, 비-사용자(1604)는 떠났고 사용자(1502)는 스마트폰(1504)을 바라보는 것으로 돌아간다. 레이더 관리자(106)는 비-사용자(1604)가 더 이상 존재하지 않는다고 결정하고, 이러한 결정을 상태 관리자(112)에 표시하고, 상태 관리자(112)는 스마트폰(1504)을 인증된 상태(1506)로 되돌린다. 상태 관리자(112)는 또한 사용자(1502)가 스마트폰(1504)에 참여 의도가 있다는 결정을 요구할 수 있거나, 스마트폰(1504)의 존재를 떠나는 비-사용자(1604)에 기초하여 단순히 인증된 상태로 돌아갈 수 있음을 주목한다. 또한 이 문서에 설명된 기법은 사용자를 중단했던 지점으로 원활하게 되돌릴 수 있으므로 탁월한 사용자 경험을 제공할 수 있다. 이것은 도 16에 도시되어, 상태 관리자(112)가 스마트폰(1504)을 동일한 텔레비전 프로그램으로 그리고 사용자(1502)에게 마지막으로 제시되었던 동일하거나 거의 동일한 시점으로 되돌린다. 일부 실시예의 경우, 기법은 사용자가 설정 화면 또는 유사한 디바이스 구성 화면에서 단계(1416)에서 비-사용자가 더 이상 존재하지 않거나 참여 의도가 없다는 결정에 응답하여, 스마트폰(1504)이 인증 시스템의 전력 소모 컴포넌트를 사용하는 더 엄격한 인증 프로세스(예를 들어, 위의 단계(1006))가 수행될 때까지 인증되지 않은 상태에 머무를 것인지 여부에 대해 지시하게 한다. 달리 말하면, 이 기법은 설정 또는 유사한 디바이스 구성을 통해 사용자가 선택한 설정을 제공할 수 있으며, 이로 인해 스마트폰(1504)은 일단 비사용자의 흔적이 있는 경우, 흔적이 더 이상 거기에 없더라도 인증이 해제된 상태로 유지된다.
예시들
다음 섹션에 몇 가지 예시들이 제공된다.
예 1: 방법으로서 사용자 장비의 인증된 상태 동안, 상기 사용자 장비의 사용자에 의한 잠재적 이탈을 결정하는 단계, 상기 인증된 상태는 상기 사용자 장비의 데이터, 애플리케이션, 기능, 계정, 또는 컴포넌트에의 액세스를 허용하며; 상기 사용자 장비에 의해, 레이더 데이터에 기초하여, 상기 사용자 장비와의 상기 사용자의 수동적 관여를 결정하는 단계; 및 상기 사용자 장비와의 상기 사용자의 수동적 관여의 결정에 응답하여, 상기 인증된 상태를 유지하는 단계를 포함하는, 방법.
예 2: 예 1에 있어서, 상기 인증된 상태는 상기 사용자 장비의 데이터, 애플리케이션, 기능, 계정 중 적어도 하나 및 컴포넌트 중 적어도 하나에 대한 사용자의 액세스를 허용하는, 방법.
예 3: 예 1 또는 2에 있어서, 비활동 기간이 만료했음을 결정하는 단계를 더 포함하고, 상기 잠재적 이탈을 결정하는 단계는 상기 비활동 기간이 만료했다는 결정에 기초하는, 방법.
예 4: 예 3에 있어서, 상기 비활동 기간은 상기 사용자 장비와의 마지막 사용자 액션, 상기 사용자 장비와의 마지막 활동적 관여 또는 마지막으로 결정된 상기 사용자 장비에 관여하기 위한 의도에 시작하는, 방법.
예 5: 예 1 또는 2에 있어서, 상기 사용자 장비와 통합된 관성 측정 유닛(IMU)의 관성 데이터에 기초하여, 상기 사용자 장비의 움직임을 결정하는 단계를 더 포함하고, 상기 잠재적 이탈을 결정하는 단계는 상기 결정된 움직임에 기초하는, 방법.
예 6: 임의의 선행하는 예에 있어서, 상기 사용자 장비와의 상기 사용자의 수동적 관여를 결정하는 단계는 상기 잠재적 이탈의 결정에 대한 응답이고, 상기 사용자의 수동적 관여를 결정하기 전에, 레이더 데이터가 수신되는 레이더 시스템의 컴포넌트의 전력 상태를 증가시키는 단계를 더 포함하는, 방법.
예 7: 임의의 선행하는 예에 있어서, 상기 사용자의 수동적 관여를 결정하는 단계는, 상기 레이더 데이터에 기초하여, 상기 사용자의 손이 상기 사용자 장비의 디스플레이가 유지되는 배향에서 상기 사용자 장비를 잡고 있음을 결정하는 것인, 방법.
예 8: 예 1 내지 6 중 어느 하나에 있어서, 상기 사용자의 수동적 관여를 결정하는 단계는, 상기 레이더 데이터에 기초하여, 상기 사용자가 상기 사용자 장비를 향하거나 사용자 장비 쪽을 바라보고 있음을 결정하는 것인, 방법.
예 9: 예 1 내지 6 중 어느 하나에 있어서, 상기 사용자 장비와의 상기 사용자의 수동적 관여를 결정하는 단계는, 상기 레이더 데이터에 기초하여, 상기 사용자가 상기 사용자 장비로부터 2미터 내에 있다고 결정하는 것인, 방법.
예 10: 임의의 선행하는 예에 있어서, 상기 사용자 장비의 정보 상태를 높은-정보 상태로부터 중간-정보 상태 또는 낮은-정보 상태로 감소시키는 단계를 더 포함하는, 방법.
예 11: 예 10에 있어서, 상기 정보 상태를 감소시키는 단계는 상기 사용자가 상기 사용자 장비로부터 멀리 향하거나 시선을 돌리고 있다는 결정에 대한 응답인, 방법.
예 12: 임의의 선행하는 예에 있어서, 상기 레이더 데이터 또는 나중에 수신된 레이더 데이터에 기초하여, 비-사용자의 존재 또는 관여 의도를 결정하고, 상기 존재 또는 관여 의도의 결정에 응답하여, 상기 인증된 상태를 유지하는 것을 중단하는 단계를 더 포함하는, 방법.
예 13: 예 12에 있어서, 상기 비-사용자가 더 이상 존재하지 않는다는 결정에 응답하여 상기 인증된 상태로 복귀하는 단계를 더 포함하는, 방법.
예 14: 예 13에 있어서, 비-사용자의 존재 또는 관여 의도의 결정에 응답하여, 상기 사용자 장비의 정보 상태를 감소시키고, 상기 인증된 상태로 복귀하는 것에 응답하여, 상기 사용자 장비의 정보 상태를 증가시키는 단계를 더 포함하는, 방법.
예 15: 예 14에 있어서, 상기 사용자 장비의 정보 상태를 증가시키는 단계는 상기 정보 상태의 감소 전에 제시된 정보를 제시하는, 방법.
예 16: 예 1 내지 15 중 어느 한 항의 방법을 수행하도록 구성된 장치.
결론
인증된 상태를 유지하기 위한 기법 및 장치들의 구현예들이 구성 및/또는 방법에 특정적인 언어로 기술되었지만, 첨부된 청구항의 주제는 기술된 특정 구성 또는 방법에 반드시 제한되는 것은 아니다. 오히려, 특정 구성 및 방법은 인증된 상태를 유지하는 예시적 구현예로서 개시된다.

Claims (16)

  1. 방법으로서,
    사용자 장비의 인증된 상태 동안, 상기 사용자 장비와의 이탈 의도를 결정하는 단계, 상기 이탈 의도는 사용자가 더 이상 상기 사용자 장비에 능동적으로 관여하지 않으려는 의도를 나타내며, 상기 인증된 상태는 상기 사용자에 의한 상기 사용자 장비의 데이터, 애플리케이션, 기능, 계정, 또는 컴포넌트에의 액세스를 허용하며;
    상기 사용자 장비와의 이탈 의도를 결정함에 응답하여, 상기 사용자 장비에 의해, 레이더 데이터에 기초하여, 상기 사용자 장비와의 상기 사용자의 수동적 관여를 결정하는 단계, 상기 수동적 관여는 상기 사용자 장비와의 상기 사용자의 능동적 관여를 포함하지 않으며; 및
    상기 사용자 장비와의 상기 사용자의 수동적 관여의 결정에 응답하여, 상기 사용자 장비의 상기 인증된 상태를 유지하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서, 상기 인증된 상태는 상기 사용자 장비의 잠금 해제 상태인, 방법.
  3. 청구항 1에 있어서, 상기 레이더 데이터에 기초하여, 상기 사용자의 손이 상기 사용자 장비의 디스플레이가 유지되는 배향으로 상기 사용자 장비를 들고 있다고 결정하는 단계를 더 포함하며, 상기 사용자에 의한 수동적 관여를 결정하는 단계는 상기 사용자의 손이 상기 사용자 장비의 디스플레이가 유지되는 배향으로 상기 사용자 장비를 들고 있다는 결정에 기초하는, 방법.
  4. 청구항 1에 있어서, 상기 레이더 데이터에 기초하여, 상기 사용자가 상기 사용자 장비를 향하거나 상기 사용자 장비를 보고 있다고 결정하는 단계를 더 포함하며, 상기 사용자에 의한 수동적 관여를 결정하는 단계는 상기 사용자가 상기 사용자 장비를 향하거나 상기 사용자 장비를 보고 있다는 결정에 기초하는, 방법.
  5. 청구항 1에 있어서, 상기 레이더 데이터에 기초하여, 상기 사용자가 상기 사용자 장비의 미리 결정된 임계 거리 내에 있다고 결정하는 단계를 더 포함하며, 상기 사용자에 의한 수동적 관여를 결정하는 단계는 상기 사용자가 상기 사용자 장비의 미리 결정된 임계 거리 내에 있다는 결정에 기초하는, 방법.
  6. 청구항 5에 있어서, 상기 사용자의 현재 위치를 결정하는 단계를 더 포함하며, 상기 미리 결정된 임계 거리는 상기 사용자의 현재 위치에 기초하는, 방법.
  7. 청구항 1에 있어서,
    상기 사용자 장비와의 마지막 사용자 액션에 응답하여 비활동 기간을 시작하는 단계; 및
    상기 비활동 기간이 만료했음을 결정하는 단계를 더 포함하고 상기 이탈 의도를 결정하는 단계는 상기 비활동 기간이 만료했다는 결정에 기초하는, 방법.
  8. 청구항 1에 있어서, 상기 사용자 장비에 내장된 관성 측정 유닛의 관성 데이터에 기초하여 상기 사용자 장비의 움직임을 결정하는 단계, 상기 이탈 의도를 결정하는 단계는 상기 결정된 움직임에 기초하는, 방법.
  9. 청구항 8에 있어서, 상기 사용자 장비의 움직임이 주변의 움직임(ambient movement)인 것으로 결정되며, 그리고 상기 사용자가 상기 사용자 장비와의 이탈 의도가 없다고 결정하는 단계를 더 포함하는, 방법.
  10. 청구항 1에 있어서, 상기 사용자 장비의 정보 상태를 높은-정보 상태로부터 중간-정보 상태 또는 낮은-정보 상태로 감소시키는 단계를 더 포함하는, 방법.
  11. 청구항 10에 있어서, 상기 정보 상태를 감소시키는 단계는 상기 사용자가 상기 사용자 장비로부터 멀리 향하거나 상기 사용자 장비로부터 시선을 돌리고 있다는 결정에 대한 응답인, 방법.
  12. 청구항 1에 있어서,
    상기 레이더 데이터 또는 나중에 수신된 레이더 데이터에 기초하여, 비-사용자의 관여 의도 또는 비-사용자의 존재를 결정하는 단계; 및
    상기 비-사용자의 관여 의도 또는 비-사용자의 존재의 결정에 응답하여, 상기 인증된 상태를 유지하는 것을 중단하는 단계를 더 포함하는, 방법.
  13. 청구항 12에 있어서, 상기 비-사용자가 더 이상 존재하지 않는다는 결정에 응답하여 상기 인증된 상태로 복귀하는 단계를 더 포함하는, 방법.
  14. 청구항 13에 있어서, 비-사용자의 관여 의도 또는 비-사용자의 존재의 결정에 응답하여, 상기 사용자 장비의 정보 상태를 감소시키고, 상기 인증된 상태로 복귀하는 것에 응답하여, 상기 사용자 장비의 정보 상태를 증가시키는 단계를 더 포함하는, 방법.
  15. 청구항 14에 있어서, 상기 사용자 장비의 정보 상태를 증가시키는 단계는 상기 정보 상태의 감소 전에 제시된 정보를 제시하는, 방법.
  16. 청구항 1 내지 15 중 어느 한 항의 방법을 수행하도록 구성된 장치.

KR1020217040331A 2019-07-26 2019-08-30 인증된 상태 유지하기 KR102639579B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247005577A KR20240026524A (ko) 2019-07-26 2019-08-30 인증된 상태 유지하기

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962879361P 2019-07-26 2019-07-26
US62/879,361 2019-07-26
PCT/US2019/049208 WO2021021218A1 (en) 2019-07-26 2019-08-30 Maintaining an authenticated state

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247005577A Division KR20240026524A (ko) 2019-07-26 2019-08-30 인증된 상태 유지하기

Publications (2)

Publication Number Publication Date
KR20220007881A KR20220007881A (ko) 2022-01-19
KR102639579B1 true KR102639579B1 (ko) 2024-02-26

Family

ID=74190646

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247005577A KR20240026524A (ko) 2019-07-26 2019-08-30 인증된 상태 유지하기
KR1020217040331A KR102639579B1 (ko) 2019-07-26 2019-08-30 인증된 상태 유지하기

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247005577A KR20240026524A (ko) 2019-07-26 2019-08-30 인증된 상태 유지하기

Country Status (2)

Country Link
US (1) US20210029542A1 (ko)
KR (2) KR20240026524A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
EP3936980A1 (en) 2019-08-30 2022-01-12 Google LLC Input methods for mobile devices
KR20220098805A (ko) 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130316687A1 (en) * 2012-05-23 2013-11-28 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
US20150193116A1 (en) * 2007-09-24 2015-07-09 Apple Inc. Embedded authentication systems in an electronic device
WO2019118017A1 (en) * 2017-12-15 2019-06-20 Google Llc Seamless authentication using radar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193116A1 (en) * 2007-09-24 2015-07-09 Apple Inc. Embedded authentication systems in an electronic device
US20130316687A1 (en) * 2012-05-23 2013-11-28 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
WO2019118017A1 (en) * 2017-12-15 2019-06-20 Google Llc Seamless authentication using radar

Also Published As

Publication number Publication date
US20210029542A1 (en) 2021-01-28
KR20220007881A (ko) 2022-01-19
KR20240026524A (ko) 2024-02-28

Similar Documents

Publication Publication Date Title
KR102639579B1 (ko) 인증된 상태 유지하기
CN113853567B (zh) 基于imu和雷达降低状态
US11385722B2 (en) Robust radar-based gesture-recognition by user equipment
US11790693B2 (en) Authentication management through IMU and radar
CN112655188B (zh) 由用户设备进行的鲁棒的基于雷达的姿势识别
US11467672B2 (en) Context-sensitive control of radar-based gesture-recognition
US11687167B2 (en) Visual indicator for paused radar gestures
WO2021021218A1 (en) Maintaining an authenticated state
US11868537B2 (en) Robust radar-based gesture-recognition by user equipment
JP7346595B2 (ja) レーダーベースのジェスチャー認識の状況感知型制御

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant