KR20210145281A - 레이더 기반 제스처 인식의 컨텍스트 감지형 제어 - Google Patents
레이더 기반 제스처 인식의 컨텍스트 감지형 제어 Download PDFInfo
- Publication number
- KR20210145281A KR20210145281A KR1020217036641A KR20217036641A KR20210145281A KR 20210145281 A KR20210145281 A KR 20210145281A KR 1020217036641 A KR1020217036641 A KR 1020217036641A KR 20217036641 A KR20217036641 A KR 20217036641A KR 20210145281 A KR20210145281 A KR 20210145281A
- Authority
- KR
- South Korea
- Prior art keywords
- radar
- context
- user
- gesture recognition
- state
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 208
- 230000004044 response Effects 0.000 claims description 79
- 230000008859 change Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 abstract description 163
- 230000007704 transition Effects 0.000 abstract description 36
- 238000005516 engineering process Methods 0.000 abstract description 22
- 230000006870 function Effects 0.000 description 94
- 230000008569 process Effects 0.000 description 39
- 230000001815 facial effect Effects 0.000 description 28
- 230000035945 sensitivity Effects 0.000 description 19
- 230000009471 action Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000007423 decrease Effects 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000004622 sleep time Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000013078 crystal Substances 0.000 description 3
- 230000001351 cycling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
- H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Environmental & Geological Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Geophysics And Detection Of Objects (AREA)
- Position Input By Displaying (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
본 문서에서는 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 통해 레이더 기반 제스처 인식을 위한 기술 및 시스템에 대해 설명한다. 근접 센서(108) 및/또는 움직임 센서(108)로부터의 센서 데이터는 사용자 장비(102)의 컨텍스트를 생성한다. 이 기술 및 시스템은 레이더 시스템(104)이 신뢰할 수 없고 제스처 인식에 사용되어서는 안 될 때 사용자 장비(102)가 컨텍스트를 인식할 수 있게 하여 사용자 장비(102)가 컨텍스트에 따라 레이더 시스템(104)의 출력을 자동으로 비활성화하거나 "게이트(gate, 차단)"할 수 있게 한다. 사용자 장비(102)는 레이더 시스템(104)에 의해 감지된 레이더 데이터가 의도치 않은 입력으로 인해 발생할 가능성이 있는 컨텍스트에서 제스처 인식을 수행하기 위해 레이더 시스템(104)이 고전력 상태(1910)로 천이하는 것을 방지한다. 그렇게 함으로써, 기술은 레이더 기반 제스처 인식을 위한 많은 일반적인 기술 및 시스템에 비해 전력을 절약하고 정확도를 개선하거나 대기 시간을 줄일 수 있다.
Description
일부 컴퓨팅 디바이스("사용자 장비"라고도 지칭됨)는 입력을 감지하기 위한 레이더 시스템을 포함한다. 예를 들어, 레이더 시스템은 그 레이더 시스템이 레이더 필드내에서 또는 레이더 필드를 통해 이루어진 2차원 및 3차원("터치 독립형"이라고도 지칭됨) 레이더 기반 제스처를 인식하는 레이더 필드를 제공한다. 레이더 시스템은 레이더 필드내의 반사를 지속적으로 평가할 수 있으며 레이더 기반 제스처 입력이 될 수 있는 것을 해석하기 위해 제스처 인식 상태로 자주 전환한다. 그러나, 의도하지 않거나 잘못된 레이더 입력에 응답하여 제스처 인식 상태로 전환하면 전력이 낭비되고 잘못 인식된 레이더 기반 제스처가 트리거되거나 기능을 수행하는데 사용되는 경우 오작동을 일으킬 수 있다.
이 문서는 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더-기반 제스처 인식을 위한 기술 및 시스템을 설명한다. 기술 및 시스템은 사용자 장비의 컨텍스트를 정의하기 위해 복수의 센서의 센서 데이터를 사용한다. 복수의 센서는 관성 측정 장치(IMU)와 같은 저전력 센서 디바이스를 포함하고 카메라와 같은 고전력 센서 디바이스는 제외할 수 있다. 센서 데이터는 IMU의 관성 센서 데이터, 근접 센서의 근접 데이터, 레이더 시스템의 레이더 데이터 또는 임의의 다른 센서 데이터일 수 있다. 센서 데이터는 사용자 활동 또는 컴퓨팅 환경의 특성과 같은 사용자 장비의 컨텍스트를 정의한다. 특정 컨텍스트에서, 레이더 시스템이 레이더 기반 제스처 인식에 대해 신뢰할 수 없거나 덜 신뢰할 때, 기술 및 시스템은 사용자 장비가 레이더 기반 제스처 인식을 자동으로 비활성화하거나 "게이트"하도록 한다. 그렇게 하기 위해, 사용자 장비는 제스처 인식 모델의 입력 또는 출력을 제한할 수 있다. 사용자 장비는 또한 레이더 시스템이 레이더 기반 제스처 인식을 모두 수행하는 것을 방지하기 위해 제스처 인식 모델을 비활성화할 수 있다. 사용자 장비는 제스처 인식에서 오류를 일으키거나 오탐을 일으킬 가능성이 없는 상이한 컨텍스트로 컨텍스트가 변경될 때 레이더 기반 제스처 인식을 다시 활성화할 수 있다. 레이더 기반 제스처가 거의 없는 컨텍스트에서 사용자 장비가 작동하는 경우 사용자 장비는 제스처 인식을 자동으로 게이트한다. 제스처 인식 게이팅은 사용자 장비에서 실행하는 애플리케이션 또는 다른 가입자들이 게이팅하는 동안 획득된 레이더 입력에 응답하여 기능을 수행하는 것을 방지한다. 그렇게 함으로써, 기술은 잘못 인식된(오탐) 제스처 인식이 제스처 인식 가입자에 의한 동작을 트리거하는 것을 방지한다. 오탐을 방지하면 레이더 기반 제스처 인식 시스템을 사용하는 컴퓨팅 시스템의 전력이 절약되고 사용성과 사용자 만족도가 향상된다.
예를 들어, 레이더 기반 제스처 인식의 컨텍스트 감지형 제어를 위한 방법이 설명된다. 방법은 사용자 장비의 복수의 센서로부터 센서 데이터를 수신하는 단계; 센서 데이터에 기초하여 사용자 장비의 컨텍스트를 결정하는 단계; 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 및 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는다는 결정에 응답하여, 레이더 시스템이 사용자 장비의 애플리케이션 가입자들에게 레이더 기반 제스처의 표시를 출력하는 것을 방지하기 위해 레이더 시스템을 게이팅하는 단계를 포함한다.
다른 예에서, 복수의 센서로부터 제2 센서 데이터를 수신한 후 방법이 설명되며, 방법은 제2 센서 데이터에 기초하여 사용자 장비의 제2 컨텍스트를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 응답하여, 입력된 레이더 데이터로부터 레이더 기반 제스처를 결정하는 모델에 레이더 시스템에 의해 획득된 레이더 데이터를 입력하는 단계; 및 레이더 기반 제스처를 결정하는 모델에 응답하여 동작을 수행하는 단계를 포함한다.
이 문서는 또한 위에서 요약된 방법 및 본 명세서에서 설명된 다른 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 판독 가능 매체 뿐만 아니라 이러한 방법을 수행하기 위한 시스템 및 수단을 설명한다.
이러한 요약은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식에 대한 단순화된 개념을 소개하기 위해 제공되며, 이는 아래의 상세한 설명 및 도면에서 추가로 설명된다. 이러한 요약은 청구된 주제의 필수 기능을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는데 사용하기 위한 것도 아니다.
컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식의 하나 이상의 양태의 세부 사항은 다음 도면을 참조하여 이 문서에 설명되어 있다. 동일한 번호는 도면 전체에 걸쳐 유사한 기능 및 구성요소를 참조하는데 사용된다.
도 1은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 기술이 구현될 수 있는 예시적인 환경을 도시한다.
도 2는 도 1에 기술된 인증 시스템의 예를 도시한다.
도 3은 도 2의 인증 시스템에 의해 인증된 예시적인 사용자를 도시한다.
도 4는 사용자 장비를 사용하려는 사용자 의도 결정에 응답하는 인증 시스템의 전원 상태를 포함하여 상태를 변경할 수 있는 도 1의 사용자 장비의 구현을 도시한다.
도 5는 사용자 장비의 예시적인 정보, 전력 및 액세스 상태를 도시한다.
도 6a는 사용자 장비의 일부인 예시적인 레이더 시스템을 도시한다.
도 6b는 예시적인 송수신기 및 프로세서를 도시한다.
도 6c는 전력 소비, 제스처 프레임 업데이트 속도 및 응답 지연 간의 예시적인 관계를 도시한다.
도 6d는 예시적인 프레임 구조를 도시한다.
도 7은 도 6a의 레이더 시스템을 위한 수신 안테나 소자들의 예시적인 배열을 도시한다.
도 8은 도 6a의 레이더 시스템의 예시적인 구현에 대한 추가 세부 사항을 도시한다.
도 9는 도 6a의 레이더 시스템에 의해 구현될 수 있는 예시적인 방식을 도시한다.
도 10은 IMU 및/또는 레이더를 통한 인증 관리를 위한 예시적인 방법을 도시한다.
도 11은 인증 관리를 위한 예시적인 시나리오를 도시한다.
도 12는 사용자 장비의 상태를 감소시키기 위한 예시적인 방법을 도시한다.
도 13은 사용자 장비의 상태를 감소시키기 위한 예시적인 시나리오를 도시한다.
도 14는 인증 상태를 유지하기 위한 예시적인 방법을 도시한다.
도 15는 인증 상태를 유지하기 위한 예시적인 시나리오를 도시한다.
도 16은 인증 상태를 유지하기 위한 다른 예시적인 시나리오를 도시한다.
도 17은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 예시적인 방법을 도시한다.
도 18은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 예시적인 방법을 도시한다.
도 19는 도 17 및 도 18의 방법을 구현하는 결정 트리를 도시한다.
도 20은 도 17 및 18의 방법을 구현하는 상태 머신의 상태도를 도시한다.
도 1은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 기술이 구현될 수 있는 예시적인 환경을 도시한다.
도 2는 도 1에 기술된 인증 시스템의 예를 도시한다.
도 3은 도 2의 인증 시스템에 의해 인증된 예시적인 사용자를 도시한다.
도 4는 사용자 장비를 사용하려는 사용자 의도 결정에 응답하는 인증 시스템의 전원 상태를 포함하여 상태를 변경할 수 있는 도 1의 사용자 장비의 구현을 도시한다.
도 5는 사용자 장비의 예시적인 정보, 전력 및 액세스 상태를 도시한다.
도 6a는 사용자 장비의 일부인 예시적인 레이더 시스템을 도시한다.
도 6b는 예시적인 송수신기 및 프로세서를 도시한다.
도 6c는 전력 소비, 제스처 프레임 업데이트 속도 및 응답 지연 간의 예시적인 관계를 도시한다.
도 6d는 예시적인 프레임 구조를 도시한다.
도 7은 도 6a의 레이더 시스템을 위한 수신 안테나 소자들의 예시적인 배열을 도시한다.
도 8은 도 6a의 레이더 시스템의 예시적인 구현에 대한 추가 세부 사항을 도시한다.
도 9는 도 6a의 레이더 시스템에 의해 구현될 수 있는 예시적인 방식을 도시한다.
도 10은 IMU 및/또는 레이더를 통한 인증 관리를 위한 예시적인 방법을 도시한다.
도 11은 인증 관리를 위한 예시적인 시나리오를 도시한다.
도 12는 사용자 장비의 상태를 감소시키기 위한 예시적인 방법을 도시한다.
도 13은 사용자 장비의 상태를 감소시키기 위한 예시적인 시나리오를 도시한다.
도 14는 인증 상태를 유지하기 위한 예시적인 방법을 도시한다.
도 15는 인증 상태를 유지하기 위한 예시적인 시나리오를 도시한다.
도 16은 인증 상태를 유지하기 위한 다른 예시적인 시나리오를 도시한다.
도 17은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 예시적인 방법을 도시한다.
도 18은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용한 레이더 기반 제스처 인식을 위한 예시적인 방법을 도시한다.
도 19는 도 17 및 도 18의 방법을 구현하는 결정 트리를 도시한다.
도 20은 도 17 및 18의 방법을 구현하는 상태 머신의 상태도를 도시한다.
개요
이 문서는 컨텍스트 감지형 게이팅(차단) 및 다른 컨텍스트 감지형 제어를 이용한 레이더 기반 제스처 인식을 위한 기술 및 시스템을 기술한다. 예로서, 사용자 장비(UE)(예를 들어, 컴퓨팅 디바이스)는 다른 용도 중에서도 사용자의 입력을 검출하기 위한 레이더 시스템을 포함한다. UE는 UE의 컨텍스트를 개발하기 위해 근접 센서 또는 움직임 센서와 같은 복수의 센서로부터 센서 데이터를 수신한다.
컨텍스트는 사용자 활동, 디바이스 특성 또는 UE의 운영 환경을 정의한다. 컨텍스트는 방향(orientation), 가속도, 위치 또는 객체에 대한 근접성을 지정할 수 있다. 위치, 온도, 휘도, 압력 및 다른 환경 특성도 컨텍스트를 정의할 수 있다. 복수의 센서는 UE의 움직임을 정의하는 관성 데이터를 생성하기 위한 관성 측정 장치(IMU)와 같은 움직임 센서를 포함할 수 있다. 복수의 센서는 몇 가지만 들자면 근접 센서, 광 센서 또는 온도 센서를 포함할 수 있다. 레이더 시스템이 근접 모드에서 작동할 때(제스처 인식 활성화 여부와 관계없이), 레이더 시스템은 근접 센서이다. UE는 특히 배터리 전원에 의존하는 UE의 경우, 가능한 한 적은 전력을 소비하면서 정확한 센서 데이터를 제공하는 센서에 의존할 수 있다.
센서 데이터에 의해 정의된 컨텍스트에 기초하여, UE는 레이더 시스템이 레이더 기반 제스처를 인식하는 것을 방지할지 여부 및/또는 UE의 구성요소가 기능을 수행하기 위해 인식된 레이더 기반 제스처를 사용하는 것을 방지할지 여부를 결정한다. 레이더 시스템에 의해 행해진 제스처 인식 게이팅은 UE가 의도치 않은 또는 비-사용자 입력으로부터 만들어진 제스처 인식에 응답하여 레이더 기반 제스처들을 해석하거나 기능들을 수행(심지어 오작동)하는 컴퓨팅 자원 및 전력을 낭비하는 것을 방지한다.
게이팅이 없으면, UE는 레이더 데이터에서 레이더 기반 제스처를 과도하게 해석하여 잘못된(false) 제스처를 처리하거나 이에 대한 응답으로 오작동을 일으키기도 하는 계산 자원을 낭비한다. 컨텍스트에 기초하여 레이더 시스템의 출력을 게이팅(차단)함으로써, 개시된 기술 및 시스템은 UE가 레이더 기반 제스처 인식을 위한 다른 기술 및 시스템에 비해 전력을 절약하고, 정확도를 개선하고, 사용자 만족도 및 사용성을 개선하거나, 레이턴시(대기 시간)를 줄일 수 있도록 한다.
일 예로, 스마트폰에 의해 획득된 센서 데이터가 사용자가 스마트폰을 잡고 있음을 나타낸다고 가정한다. 기술 및 시스템은 사용자가 스마트폰을 잡고 있는 동안 스마트폰에 레이더 기반 제스처를 입력할 가능성이 높기 때문에 이러한 컨텍스트에서 스마트폰의 레이더 시스템이 레이더 기반 제스처를 인식할 수 있도록 한다. 이후에 센서 데이터는 사용자가 스마트폰을 가지고 걷고 있음을 나타낸다. 또한 사용자는 걷는 동안에도 스마트폰을 들고 스마트폰에 의도적으로 제스처하고 싶어할 가능성이 있기 때문에 스마트폰은 이러한 컨텍스트에서 레이더 시스템으로 레이더 기반 제스처를 계속 인식한다. 다음으로 센서 데이터는 사용자가 여전히 걷고 있지만 더 이상 스마트폰을 잡고 있지 않거나, 스마트폰이 사용자로부터 멀어지거나, 및/또는 스마트폰이 객체(예를 들어, 배낭 칸)에 의해 가려져 있음(폐색)을 나타낸다. 예를 들어, 배낭 칸에 있는 동안 사용자는 스마트폰과 상호 작용할 가능성이 없기 때문에, 기술 및 시스템은 스마트폰이 레이더 시스템을 비활성화하도록 하거나, 이 컨텍스트에서 레이더 시스템이 레이더 기반 제스처를 인식하는데 사용되지 않도록 적어도 레이더 시스템을 조정한다. 스마트폰이 새로운 컨텍스트를 인식하는 경우, 스마트폰은 레이더 기반 제스처 인식을 활성화할지 여부를 재평가하여, 컨텍스트가 레이더 기반 제스처 인식에 적합할 때 레이더 시스템에 의한 레이더 기반 제스처 인식을 활성화한다.
결국, 사용자는 책상과 같은 표면에 스마트폰을 놓고, 센서 데이터는 사용자가 스마트폰을 잡고 있지 않으며 스마트폰은 화면이 위로 향하도록 배향되어 있음을 나타낸다. 근접 데이터가 사용자가 스마트폰 위로 손을 뻗고 있음을 나타내는 경우, 스마트폰은 사용자가 다음에 무엇을 하느냐에 기초하여 레이더 시스템이 레이더 기반 제스처를 인식하는 것을 선택적으로 활성화하거나 방지한다. 스마트폰이 사용자가 스마트폰 위로 손을 뻗은 후 스마트폰을 픽업하고(집고) 있음을 나타내는 움직임을 검출하는 경우, 스마트폰은 레이더 시스템으로 레이더 기반 제스처를 인식한다. 스마트폰이 사용자가 스마트폰로 손을 뻗은 후 스마트폰을 픽업하고 있음을 나타내는 움직임을 검출하지 못하는 경우(예를 들어, 사용자가 스마트폰 옆 책상에서 커피 한 잔을 잡고 있는 경우), 스마트폰은 레이더 시스템을 사용한 제스처 인식을 방지한다.
이들은 설명된 기술 및 디바이스가 레이더 기반 제스처 인식을 게이트하는 데 사용될 수 있는 방법에 대한 일부 예일 뿐이다. 다른 예와 구현은 이 문서 전체에 설명되어 있다. 이제 이 문서는 예시적인 동작 환경으로 전환하고 그 후 예시적인 디바이스, 방법 및 시스템에 대해 설명한다.
동작 환경
도 1은 레이더 기반 제스처 인식의 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 위한 기술이 구현될 수 있는 예시적인 환경(100)을 도시한다. 예시적인 환경(100)은 레이더 시스템(104), 레이더 관리자(106), 복수의 센서(108), 움직임 관리자(110), 상태 관리자(112), 인증 시스템(114), 및 디스플레이(116)를 포함하거나 이와 관련된 사용자 장비(UE)(102)(예를 들어, 스마트폰)를 포함한다.
예시적인 환경(100)에서, 레이더 시스템(104)은 도 7 내지 도 9를 참조하여 후술하는 바와 같이 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(118)를 제공한다. 레이더 필드(118)는 레이더 시스템(104)이 레이더 신호 및 파형(예를 들어, 공간의 볼륨(체적)내의 객체로부터 반사된 레이더 신호 및 파형, 또한 일반적으로 본 명세서에서 레이더 데이터라고 지칭됨)의 반사를 검출할 수 있는 공간의 볼륨이다. 레이더 시스템(104)은 또한 UE(102) 또는 다른 전자 디바이스가 레이더 필드(118) 내의 반사들로부터 레이더 데이터를 감지 및 분석하여, 예를 들어 볼륨 공간에서 사용자에 의해 만들어진 레이더 기반 제스처(예를 들어, 터치 독립형 제스처)를 인식할 수 있게 한다. 레이더 필드(118)는 임의의 다양한 형상 및 형태를 취할 수 있다. 예를 들어, 레이더 필드(118)는 도 1 및 도 7을 참조하여 설명된 바와 같은 형상을 가질 수 있다. 다른 경우, 레이더 필드(118)는 레이더 시스템(104)으로부터 연장되는 반경, 레이더 시스템(104) 주위의 체적(예를 들어, 구, 반구, 부분 구, 빔 또는 원뿔), 또는 (예를 들어, 레이더 필드(118)내의 장애물로부터의 간섭을 수용하기 위한) 불균일한 형상의 형상을 취할 수 있다. 레이더 필드(118)는 인치 내지 12피트(1/3 미터 내지 4미터 미만)와 같이 레이더 시스템(104)으로부터 임의의 다양한 거리를 확장할 수 있다. 레이더 필드(118)는 사전 정의되거나, 사용자가 선택 가능하거나, (예를 들어, 전력 요구사항, 남은 배터리 수명, 또는 다른 인자에 기초하여) 다른 방법을 통해 결정될 수 있다.
레이더 필드(118)에 있는 사용자(120)로부터의 반사는 레이더 시스템(104)이 사용자(120)의 신체 위치 및 자세와 같은 사용자(120)에 관한 다양한 정보를 결정할 수 있게 하는데, 이는 사용자(120)에 의해 행해진 터치 독립형 제스처로서 레이더 시스템(104)에 의해 인식될 수 있는 다양한 상이한 비언어적 신체 언어 단서, 신체 위치 또는 신체 자세를 나타낼 수 있다. 단서, 위치 및 자세는 UE(102)를 기준으로 한 사용자(120)의 절대 위치 또는 거리, UE(102)를 기준으로 한 사용자(120)의 위치 또는 거리의 변화(예를 들어, 사용자(120) 또는 사용자의 손, 또는 사용자(120)가 들고 있는 객체가 UE(102)에 가까워지거나 멀어지고 있는지 여부), UE(102)를 향하거나 멀어지는 방향으로 이동할 때 사용자(120)(예를 들어, 손 또는 비-사용자 객체)의 속도, 사용자(120)가 UE(102)를 향하거나 멀어지는지 여부, 사용자(120)를 향해 기울어지는지, 손을 흔드는지, 손을 뻗는지 또는 UE(102)를 가리키는지 여부 등을 포함할 수 있다. 이러한 반사는 또한 레이더 데이터(예를 들어, 사용자 얼굴의 산란 중심) 분석을 통해 사람의 신원과 같은 인증을 결정하거나 인증에 신뢰를 추가하기 위해 분석될 수 있다. 이러한 반사는 레이더 기반 제스처 인식의 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 수행하기 위한 컨텍스트(예를 들어, UE(102)의 동작 환경)을 정의하기 위해 UE(102)에 의해 사용될 수 있다. 이러한 반사는 또한 사용자(120)가 UE(102)에 입력을 제공할 때 레이더 시스템(104)에 의해 인식되는 터치 독립형 제스처를 결정하거나 그에 신뢰를 추가하는데 사용될 수 있다.
레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터에 기초하여, UE(102)와 연계(engage, 관계 맺기), 연계 해제(disengage) 또는 연계 유지하려는 사용자의 의도를 결정하도록 구성된다. 사용자의 의도는 레이더 시스템(104)에 의해 인식되는 터치 독립형 제스처, 예를 들어 팔 또는 손 제스처(예를 들어, UE(102)를 향해 뻗는 손 또는 팔, UE(102) 위의 스와이프), 눈 제스처(예를 들어, UE(102)를 응시하는 눈의 움직임), 또는 머리 제스처(예를 들어, UE(102)를 향하는 머리 또는 얼굴의 움직임)에 기초하는 것과 같이 위에서 언급한 다양한 단서, 위치, 자세 및 거리/속도로부터 추론될 수 있다. 손 또는 팔을 뻗는 경우, 레이더 관리자(106)는 사용자가 UE(102)를 만지거나 픽업할 가능성이 있는 의도를 나타내는 방식으로 사용자가 손을 뻗고 있거나 팔을 향하고 있다고 결정한다. 예시에는 무선으로 부착된 스피커의 볼륨 버튼을 향해 손을 뻗는 사용자, 태블릿 컴퓨터와 관련된 무선 또는 유선 마우스를 향하는 도달 범위(reach), 또는 UE(102) 자체를 향하는 도달 범위가 포함된다. 이 도달 범위는 손 움직임 단독, 팔과 손 움직임, 또는 팔의 손이 UE(102)를 터치하거나 잡을 수 있게 하는 방식으로 팔을 구부리거나 곧게 펴는 것에 기초하여 결정될 수 있다.
사용자의 연계 의도는 또한 UE(102) 또는 일부 경우에 UE(102)의 관련 주변기기를 바라보거나 그들 쪽으로 얼굴을 향하게 하기 위한 사용자의 머리 또는 눈의 움직임에 기초하여 추론될 수 있다. UE(102)를 바라보는 사용자 눈의 움직임에 대해, 레이더 관리자(106)는 예를 들어 사용자의 눈 추적을 통해 사용자의 눈이 UE(102) 방향을 보고 있다고 결정한다. 자신의 얼굴을 UE(102)를 향해 지향기 위한 사용자 머리의 움직임(예를 들어, 얼굴 방향)에 대해, 레이더 관리자(106)는 사용자의 얼굴이 UE(102)를 향해 포인팅하도록 다양한 지점(예를 들어, 아래에 언급된 산란 중심들)이 이제 배향된다고 결정한다. 따라서, 사용자는 UE(102)상의 버튼 활성화(누르기), 또는 레이더 관리자(106)가 사용자가 UE(102)와 연계(또는 연계 해제 또는 유지)할 의도가 있다고 결정하기 위한 (예를 들어, 터치패드 또는 스크린상의) 터치 종속 제스처 또는 (예를 들어, 레이더 시스템(104)을 이용한) 터치 독립형 제스처와 같이 UE(102)를 제어하거나 활성화하도록 설계된 액션을 수행할 필요가 없다.
위에서 언급한 바와 같이, 레이더 관리자(106)는 또한 UE(102)와 사용자의 연계 해제 의도를 결정하도록 구성된다. 레이더 관리자(106)는 터치 독립형 제스처의 부재(lack)를 나타내는 레이더 데이터 또는 사용자의 손 또는 팔이 UE(102)로부터 멀어지고 있음(예를 들어, 철회하는), 시선을 돌리기 위한 눈의 움직임 또는 UE(102)로부터 멀어지는 머리 또는 얼굴의 움직임(UE(102)에서 시선을 돌리는 얼굴 방향 변경)으로부터 추론되지만, 사용자의 연계 의도와 유사하게 사용자의 연계 해제 의도를 결정한다. 사용자의 연계 해제 의도를 결정하기 위한 추가 방식은 위에서 언급한 연계의 반대 또는 중단뿐 아니라 사용자가 멀리 걸어갔거나, 자신의 몸을 멀리 이동했거나, 다른 관련되지 않은 다른 객체 및 디바이스와 연계했음을 나타내는 레이더 데이터이다. 따라서, 레이더 관리자(106)는 사용자에 의해 어떤 다른 객체, 디바이스, 또는 사용자 장비와 연계하려는 의도를 결정하는 것에 기초하여 UE(102)의 연계 해제 의도를 결정할 수 있다. 예를 들어 사용자가 스마트폰을 보고 상호 작용한다고 가정한다. 해당 스마트폰과의 연계를 해제하려는 의도를 나타내는 예시적인 연계 의도에는 사용자가 스마트폰 대신 TV 화면을 보거나, 물리적으로 가까이에 있는 사람과 대화를 시작하거나, 또는 전자책이나 미디어 플레이어와 같이 스마트폰과의 연계를 대체할 가능성이 있는 다른 디아비스를 향해 손을 뻗는 것이 포함된다.
레이더 관리자(106)는 또한 UE(102)의 연계를 유지하려는 사용자의 의도를 결정하도록 구성된다. 이러한 연계 유지는 능동적이거나 수동적일 수 있다. 능동적인 연계의 경우, 레이더 관리자(106)는 레이더 데이터에 기초하여, 사용자가 터치 독립형 제스처 등을 통해 상호작용하고 있다고 결정할 수 있다. 레이더 관리자(106)는 또한 또는 대신에 비-레이더 데이터(예를 들어, UE(102)의 다른 구성요소로부터의 도움으로 수행됨)를 통해 능동적인 연계를 결정할 수 있다. 이러한 비-레이더 데이터는 사용자가 UE(102) 또는 주변기기에 데이터를 입력하거나 제어하고 있다는 표시를 포함한다. 따라서, 터치, 타이핑 또는 오디오 데이터를 통해, 사용자는 디스플레이(116)의 터치 스크린 입력을 통해 터치(예를 들어, 소프트 키보드를 탭하거나 제스처를 수행)하거나, 주변 키보드에 타이핑하는 것으로 결정되거나, 오디오 입력을 받아쓰는 것으로 결정된다. 연계의 수동적인 유지를 위해, 레이더 관리자(106)는 독립적으로 또는 UE(102)의 다른 구성요소의 도움을 통해, 사용자가 컨텐츠를 소비하거나 UE(102)를 향해 자신의 얼굴을 가리키고, 디스플레이(116)를 바라보는 것과 같이 컨텐츠를 소비하도록 UE(102)를 다른 사람에게 제공하고 있고, UE(102)의 디스플레이가 사용자 또는 제3자가 볼 수 있도록 지향하는 방식으로 UE(102)를 잡고 있다고 결정한다. 수동적 연계를 유지하는 다른 예는 사용자(120)가 UE(102)의 도달 범위(예를 들어, UE로부터 2, 1.5, 1 또는 1/2 미터) 도달 범위 내에 있다고 결정하는 레이더 관리자(106)를 통한 것과 같은 사용자의 존재를 포함한다. 레이더 관리자(106)가 연계, 연계 해제 또는 연계를 유지하려는 사용자의 의도를 결정하는 예시적인 방법의 세부사항은 아래에서 설명된다.
또한, 레이더 관리자(106)는 레이더 시스템(104)으로부터의 레이더 데이터를 사용하여 사용자에 의해 수행된 제스처를 결정할 수도 있다. 이러한 제스처는 사용자가 테이블, 디스플레이(116) 또는 셔츠 소매와 같은 일부 표면을 터치하는 것, 또는 터치 독립적인 제스처를 포함할 수 있다. 터치 독립형 제스처는 공중에서, 3차원으로, 및/또는 손이나 손가락이 입력 디바이스를 터치할 필요 없이 수행될 수 있지만 일부 개체를 터치하는 것이 배제되지는 않는다. 이러한 제스처는 레이더 시스템(104)에 의해 획득된 레이더 데이터에 기초하여 인식되거나 결정된 다음 UE(102)에서 실행하는 애플리케이션 또는 다른 가입자에게 출력되거나 UE(102)의 연계를나타내는 것과 같은 동작들을 수행하기 위한 입력으로 사용될 수 있다.
예시적인 제스처에는 수화와 유사한 것(예를 들어, ASL 또는 미국 수화)이 포함되는데, 이는 변화되는 복잡한 한 손 또는 여러 손 제스처, 또는 왼쪽, 오른쪽 위 또는 아래 스와이프와 같은 단순한 여러 손 또는 한 손 제스처, 납작한 손 올리거 또는 내리기(예를 들어, UE(102) 또는 UE(102)를 통해 제어되는 텔레비전 또는 스테레오의 음악 볼륨을 높이거나 낮추기 위해), 또는 음악 및 비디오 트랙을 변경하고, 알람을 일시 중지하거나, 전화를 끊거나, 게임을 하기 위해 앞 또는 뒤(예를 들어, 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)로 스와이프하는 것이다. 이들은 이러한 제스처에 의해 제어될 수 있고 레이더 시스템(104) 및 레이더 관리자(106)를 통해 활성화되는 많은 예시적인 제스처 및 기능 중 일부에 불과하다. 따라서, 이 문서는 연계 및 상태 관리에 대한 일부 측면에 관한 것이지만, 이 문서의 어떤 것도 연계 및 상태 관리 측면이 제스처 인식을 수행하도록 레이더 시스템(104) 및 레이더 관리자(106)를 추가로 또는 대안적으로 구성하는데 사용될 수 없음을 나타내기 위해 잘못 해석되어서는 안된다.
디스플레이(116)는 터치스크린, 액정 디스플레이(LCD), 박막 트랜지스터(TFT) LCD, 평면 스위칭(IPS) LCD, 정전식 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 활성 매트릭스 유기 발광 다이오드(AMOLED) 디스플레이, 슈퍼 AMOLED 디스플레이 등과 같은 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 언급된 바와 같이, 디스플레이(116)는 터치 입력 전원이 공급되는 완전 포화, 터치 입력 전원이 공급되지 않는 감소된 포화, 및 저포화 및 저전력 또는 무전원과 같은 다양한 레벨에서 전원이 공급될 수 있습니다.
복수의 센서(108)는 UE(102)의 컨텍스트, 즉, UE(102)의 동작 환경 또는 주변의 표시를 나타내는 센서 데이터를 생성하도록 구성된 다양한 센서 디바이스 중 임의의 것일 수 있다. 복수의 센서(108)는 움직임을 측정하기 위한 관성 측정 장치(IMU)를 포함하며, 이는 3개의 축(예를 들어, X, Y 및 Z) 각각에 대한 피치, 롤 및 요를 포함하여 특정 힘, 각속도, 방향, 진동, 가속도, 속도 및 위치를 포함하도록 정의된다. IMU는 센서(108)의 한 예일 뿐이다. 움직임을 감지하기 위한 복수의 센서(108)의 다른 예는 가속도계, 자이로스코프 및/또는 자력계를 포함한다. 복수의 센서(108)는 근접 센서, 광 센서, 위치 센서, 나침반, 온도 센서, 기압 센서, 또는 객체에 대한 존재 또는 근접을 검출하기 위한 임의의 다른 센서를 포함할 수 있다. 복수의 센서(108)는 제스처 인식 모드 또는 다른 모드와 달리 근접 모드에서 동작하는 레이더 시스템(104)과 같은 근접 센서를 포함할 수 있다.
UE(102)는 주로 배터리 전력에 의존할 수 있고, 이와 같이 복수의 센서(108)는 카메라와 같은 고전력 센서를 배제할 수 있고 대신에 정확한 컨텍스트 개발을 위해 정확한 센서 데이터를 제공하는 저전력 센서를 주로 포함할 수 있다. IMU와 같은 저전력 센서의 센서 데이터를 사용하는 대신에 게이팅 결정을 내리기 위해 카메라와 같은 고전력 센서의 사용을 피함으로써, UE(102)는 카메라가 사용되는 경우보다 게이팅 결정을 내리는데 더 적은 전력을 사용하여 더 효율적으로 작동한다.
움직임 관리자(110)는 관성 데이터 또는 센서(108)로부터 획득된 다른 센서 데이터에 기초하여 UE(102)의 움직임을 결정하도록 구성된다. 움직임 관리자는 UE(102)가 컨텍스트를 정의할 수 있도록 UE(102)의 움직임을 결정하도록 구성된다. 예시적인 움직임은 UE(102)가 들어 올려지는(예를 들어, 픽업되는) 것, 사용자(120)를 향하거나 사용자로부터 멀어지는 것 및 진동을 포함한다. 예시적인 움직임은 UE(102)의 사용자(120)에 의한 물리적 접촉의 중단, 무생물 객체(예를 들어, 테이블, 자동차 콘솔, 소파 팔, 베개, 바닥, 도킹 스테이션)상의 UE(102)의 배치, 및 밀봉된 컨테이너(예를 들어, 주머니, 가방 또는 지갑)내의 UE(102)의 배치를 나타낼 수 있다. 추가의 예시적인 움직임은 UE(102)가 홀딩되고 있음을 나타내는 움직임과, UE(102)가 걷고 있거나, 자전거를 타거나, 차량에 타고 있거나 또는 움직이는 사람에 의해 홀딩되고 있음을 나타내는 움직임과, 가로(landscape), 세로-위(portrait-up), 세로-아래(portrait-down) 또는 이들의 조합에 있는 휴대 방향과 같이 UE(102)가 어떻게 홀딩되고 있는지를 나타내는 움직임을 포함한다. 예시적인 움직임은 홀딩되지 않는 UE(102), 또는 UE(102)가 홀딩되고 있지 않지만 걷고 있는 사람에 의해 휴대되고 있음을 나타내는 움직임 등을 더 포함한다.
이러한 움직임은 UE(102)와의 사용자의 잠재적인 연계, 연계 해제 또는 연계 유지를 나타낼 수 있다. 예를 들어, UE(102)의 움직임은 사용자 장비가 사용자(120)를 향해 이동하거나 지향하거나 사용자(120)로부터 멀어지는 방향으로 이동/지향하고 있음을 나타낼 수 있고, 많은 가능한 유형의 사용자 연계에 대해 상호 작용하기에는 너무 빠르게 움직이거나 움직임이 너무 빠르게 변화하고 있음을 나타낼 수 있으며, 사용자에 의해 홀딩되거나(사람의 자연스러운 움직임, 호흡, 심장 박동을 통해) 또는 기계적 또는 비-사용자 소스(예를 들어, 차량의 진동, UE(102)를 흔드는 주변 소리, UE(102)를 진동시키는 음악)로 인해 진동하고 있음을 나타낼 수 있다. 따라서, UE(102)와의 잠재적인 연계 해제를 나타낼 수 있는 방향 이격(orienting away)은 사용자(120)가 디스플레이(116)를 보고 있을 가능성이 있었던 이전 방향이 이제 그렇게 하지 않을 가능성이 잇도록 UE(102)의 방향 변경을 포함할 수 있다. 사용자(120)가 한 방향으로 타이핑 또는 읽기를 한 다음 전화기를 뒤집거나 옆으로 돌리거나 주머니에 넣는 것은 방향 이격(벗어남) 및 그에 따른 잠재적 연계 해제를 나타내는 움직임의 한 예에 불과하다. 유지되는 연계를 나타낼 수 있는 예시적인 움직임은 사용자가 UE(102)의 잡기 또는 배치(placement)를 유지하고 있거나 해당 방향이 UE(102)와의 연계를 이전에 나타내거나 일치했던 UE(102)에 대한 그들의 방향을 유지하고 있음을 나타내는 진동을 포함한다.
레이더 시스템(104)은 레이더 관리자(106), 움직임 관리자(110) 및 센서(108)에 의존하여 레이더 시스템(104)에 의해 이루어진 게이팅 결정을 내리는데 사용되는 UE(102)의 컨텍스트를 정의한다. 센서들(108)에 의해 생성된 센서 데이터는 움직임 및 움직임 관리자(110) 및 레이더 관리자(106)에 의해 결정된 사용자 의도와 결합하여, UE(102)의 컨텍스트를 정의하는 것을 돕는다.
움직임 관리자(110)에 의해 결정된 움직임은 사용자(120)가 UE(102)와 상호작용하는 방식 또는 상호작용하는지 여부를 나타낼 수 있다. 움직임 관리자(110)에 의해 검출된 가속도 또는 진동은 사용자(120)가 UE(102)와 함께 걷거나 움직일 때 관찰되는 유사한 진동 및 가속도에 대응할 수 있고, 따라서 움직임은 사용자가 어떻게 걷거나 움직이는지를 나타낼 수 있다. 움직임 관리자(110)에 의해 결정된 움직임의 변화는 사용자(120)가 UE(102)와 상호작용하는 방식 또는 상호작용하는지 여부에 관한 추가 정보로서 휴대 위치 및 방향의 변화를 나타낼 수 있다. 움직임 관리자(110)에 의해 추론된 움직임의 패턴 또는 움직임 부재는 사용자(120)가 홀딩 컨텍스트에서 UE(102)를 보거나 홀딩할 때 일반적으로 관찰되는 움직임과 유사할 수 있다. 움직임 및 움직임 패턴은 UE(102)가 사용자(120)가 착용한 의복 주머니 또는 배낭 또는 서류 가방, 비행기 또는 기차의 머리 위 보관함, 차량의 콘솔 또는 글로브 박스, 또는 기타 보관 인클로저에 포함될 때 이러한 조건하에서 보관 컨텍스트를 나타낼 수 있다.
컨텍스트는 움직임 이외의 다른 정보에 의해 정의될 수 있다. 예를 들어, 근접 센서 또는 레이더 시스템(104)은 레이더 시스템(104)(또는 UE(102)의 다른 부분)이 UE(102)에 근접한 객체에 의해 가려졌는지(폐색) 여부를 검출할 수 있다. 폐색의 증거는 UE(102)가 보관 컨텍스트에 있음을 표시할 수 있고, 폐색 부재는 그렇지 않은 것을 표시할 수 있다. 주변광 센서, 기압계, 위치 센서, 광학 센서, 적외선 센서등과 같은 다른 센서는 제스처 인식 및 기타 설명된 기술을 개선하기 위해 UE(102)의 동작 환경 또는 컨텍스트를 추가로 정의하는 신호를 UE(102)로 제공할 수 있다. 상대적 고도, 그림자, 주변 소리, 주변 온도 등은 UE(102)가 컨텍스트를 정의할 수 있도록 센서(108)를 통해 레이더 시스템(104)에 의해 캡처될 수 있는 신호의 추가 예이다.
상태 관리자(112)는 전력, 액세스 및 정보 상태와 같은 UE(102)의 상태를 관리하고, 일부 예에서는 위에서 정의된 컨텍스트에 기초하여 상태를 관리한다. UE(102) 및 구성요소의 이러한 관리는 레이더 관리자(106) 및 움직임 관리자(110)에 의해 이루어진 결정, 센서들(108)로부터의 센서 데이터 및 그로부터 정의된 컨텍스트에 부분적으로 기초하여 수행된다. 예를 들어, 상태 관리자(112)는 패스워드를 입력하기 위해 사용자(120)로부터 터치 입력을 수신할 것을 예상하여 전원을 켜기 위한 UE(102)의 디스플레이(116), 인증에 사용되는 계산을 수행하기 위한 컴퓨터 프로세서, 또는 이미지 기반 얼굴 인증, 레이더(예를 들어, 레이더 시스템(104)) 또는 기타 구성요소를 수행하는 이미징 시스템을 변경함으로써 인증 시스템(114)의 구성요소에 대한 전력을 관리할 수 있다. 상태 관리자(112)는 레이더 기반 제스처 인식이 게이팅될 때는 레이더 시스템(104)을 근접 또는 비활성화 모드에 두고, 레이더 기반 제스처 인식이 게이팅되지 않을 때는 레이더 시스템(104)을 활성화 또는 제스처 인식 모드에 두도록 레이더 관리자(106)에게 지시할 수 있다.
언급된 바와 같이, UE(102)의 이러한 관리는 각각 연계, 연계 해제 또는 연계를 유지하기 위한 의도 및 UE(102)의 움직임을 결정하는 레이더 관리자(106) 및 움직임 관리자(110)에 의한 결정에 기초한다. 상태 관리자(112)는 현재 상태, 현재 연계, 실행 중인 애플리케이션 및 이러한 애플리케이션에 의해 표시된 컨텐츠 등을 포함하여 UE(102)의 컨텍스트를 정의하는 다른 정보에 기초하거나 단독으로 이러한 결정에 기초하여 이를 가능하게 할 수 있다. 상태 관리자(112)는 컨텍스트를 고려함으로써 사용자의 의도가 UE(102)와 연계, 연계 해제 또는 연계를 유지하는 것이라는 전반적인 결정의 정확성, 견고성 및 속도를 개선할 수 있다.
컨텍스트를 정의하기 위한 "다중 결정"(예를 들어, 레이더 관리자(106) 및 움직임 관리자(110)의 결정)은 UE(102)의 상태를 관리하는 것의 일부로서 동시에 또는 단계적으로 수행될 수 있거나, 이들 중 하나는 단독으로 사용될 수 있다. 예를 들어, UE(102)가 인증에 사용되는 구성요소에 대해 저전력 상태에 있다고 가정한다. 레이더 관리자(106)는 UE(102)를 향한 움직임 또는 UE(102)를 향한 도달 범위(reach)에 기초하여 사용자(120)가 UE(102)와 인증할 의도가 있다고 결정할 수 있다. 일부 경우, 이것만으로도 상태 관리자(112)는 상태 관리자(112)가 UE(102)를 고전력 상태(예를 들어, 인증을 위해, 레이더 기반 제스처를 해석하기 위해)로 변경하게 하는 불충분한 컨텍스트인 것으로 간주한다. 따라서, 상태 관리자(112)는 인증 구성요소의 일부가 고전력 상태(예를 들어, 도 5의 고전력 상태(504-1))가 아닌 중간 상태로 전원이 공급되도록 할 수 있다. 예를 들어, 인증 시스템(114)이 적외선 센서를 사용하여 얼굴 인식을 수행하는 경우, 상태 관리자(112)는 사용자 인증을 예상하고 디스플레이(116)의 경우 사용자에게 UE(102)가 "웨이크업"중이고 따라서 점점 더 반응이 빨라지고 있음을 사용자에게 표시하기 위해 이러한 센서와 디스플레이(116)에 더 높은 전력으로 전원을 공급할 수 있다. 추가 단계로서, 상태 관리자(112)는 인증 구성요소(여기서는 적외선 센서)의 전원을 완전히 켜기 전에 컨텍스트가 사용자가 UE(102)를 이동, 픽업, 들어 올리기 등을 했다고 나타내는 것으로 움직임 관리자(110)가 결정할 때까지 대기할 수 있다. 요구되지는 않지만, 상태 관리자(112)는 사용자로부터의 추가 입력 없이 구성요소에 의해 인증이 시도되도록 할 수 있고, 이에 의해 사용자(120)에 대한 인증이 원활하게 이루어진다.
그러나 일부 경우, 상태 관리자(112)는 관성 데이터 및 레이더 데이터 모두에 응답하여 UE(102)의 상태를 준비하거나 전원을 켜기로 결정하는데, 예를 들어, 레이더 관리자(106)는 사용자가 연계할 의도가 있다고 결정하고 움직임 관리자(110)는 사용자가 UE(102)를 픽업하고 있다고 결정한다.
따라서, 상태 관리자(112)는 사용자가 방금 UE(102)를 터치하기 시작했다는 움직임 관리자(110)의 표시와 같이 사용자의 의도가 UE(102)를 픽업함으로써 연계하는 것이라는 더 높은 수준의 확신이 있을 때까지 기다릴 수 있다. 이러한 경우, 상태 관리자(112)는 단지 레이더 관리자(116)의 결정에 기초하여 전력을 증가시킬 수 있지만, 움직임 관리자(110)가 이러한 구성요소에 완전히 전력을 공급하기 위한 사용자의 터치를 나타낼 때까지 기다리는 대신 디스플레이 또는 인증 시스템(114) 또는 그 구성요소의 중간 전력 레벨로 그렇게 할 수 있다. 그러나, 언급된 바와 같이, 상태 관리자(112)는 레이더 데이터에 기초한 연계 의도의 결정에 대해서만 상태를 더 높은 전력 레벨로 변경하거나 레이더 데이터에 기초한 연계 해제 의도의 결정에 대해서만 해당 레벨을 낮출 수 있다.
상태 관리자(112)가 UE(102)의 상태를 관리할 수 있는 많은 예시적인 방식 중 하나가 예시적인 환경(100-1, 100-2, 100-3)에서 도 1에 도시되어 있다.
환경(100-1)에서, 사용자(120)가 인증되고 UE(102)가 전력, 액세스 및 정보에 대한 상위 레벨 상태에 있다고 가정한다. 이 인증은 고채도 및 고광도 별 심볼(환경(100-1)에서 122로 표시됨)를 나타내는 디스플레이(116)를 통해 사용자(120)에게 표시된다. 환경(100-1)에서, 사용자(120)는 UE(102)를 테이블 위에 놓는다. UE(102)를 테이블상에 놓으면 센서들(108)의 감지 및 그 후 움직임 관리자(110)로의 관성 데이터 제공을 발생한다. 움직임 관리자(110)는 이 관성 데이터에 기초하여 UE(102)가 움직였지만 지금은 정지 상태에 있다고 결정한다. UE(102)는 움직임 컨텍스트에 있었고 지금은 정지(stationary) 컨텍스트에 있다. 이 시점에서 움직임 관리자(110)는 이 움직임 결정을 레이더 시스템(104), 레이더 관리자(106) 또는 상태 관리자(112)로 전달할 수 있지만, 세 가지 경우 모두에서 이것은 상태를 상위 레벨에서 중간 또는 하위 레벨로 감소시킬지 여부를 결정하기 위한 데이터 포인트이다. 언급한 바와 같이, 이러한 상태를 감소시키면 전력을 절약하고 정보를 비공개로 유지하고 액세스를 안전하게 보호할 수 있으며 여전히 사용자(120)에게 원활한 사용자 경험을 제공할 수 있다. 예를 들어, 움직임 결정에 기초하여, 레이더 시스템(104)은 출력을 관리하기 위한 컨텍스트를 형성한다. 약간의 움직임이 감지되지만 사용자(120)가 UE(102)를 잡고 있지 않은 환경(100-1)에서, 레이더 시스템(104)은 UE(120)가 평평하고 정지된 표면에 놓인 환경(100-1)을 결정할 수 있다. UE(120)에 대한 컨텍스트는 약간의 움직임을 제외하고 정지 컨텍스트이기 때문에 컨텍스트는 레이더 기반 제스처 인식을 위한 요구사항을 충족한다.
이 예를 계속하여, 사용자(120)가 UE(102)로부터 손을 철회하는 환경(100-2)을 고려한다. 이러한 철회는 레이더 시스템(104)과 레이더 관리자(106)에 의해 각각 감지되고 분석된다. 그렇게 함으로써, 레이더 관리자(106)는 사용자(120)가 UE(102)로부터 연계 해제할 의도가 있다고 결정한다. 레이더 관리자(106)의 이러한 결정과 움직임 관리자(110)의 움직임 결정에 기초하여, 상태 관리자(112)는 UE(102)의 상태들 중 하나 이상을 감소시킬 수 있다. 여기서 이러한 감소는 UE(102)와의 사용자의 연계 레벨(120)에 대응하도록 의도된다. 상태 관리자(112)에 의한 이러한 감소는 저광도 및 채도 별 심볼(124로 표시)로 도시된 디스플레이(116)의 채도 및 광도를 감소시킴으로써 중간 레벨의 전력으로 이루어진다. 상태 관리자(112)는 상태들을 낮은 레벨의 전력, 액세스 및/또는 정보로 감소시킬 수 있지만, 여기서 상태 관리자(112)는 레이더 관리자(106)로부터의 연계 해제 의도가 사용자(120)가 자신의 팔을 철회하고 있지만 자신의 몸은 여전히 UE(102)를 향하고 있고 사용자(120)가 여전히 UE(102)를 보고 있음을 나타내기 때문에 상태들을 중간 레벨로 감소시킨다. 이것은 철회가 특정 레벨의 연계 해제를 나타내지만, 그 자체로 레이더 관리자(106)에 의한 연계 해제 결정에서 일부 지속적인 연계 또는 일부 수준의 불확실성을 나타낼 수 있기 때문에 사용자의 연계에 맞게 상태들을 조정하는 한 가지 예이다. 예를 들어, 철회 결정은 UE(102)의 제2 컨텍스트를 정의하기 위한 근접도 정보로서 사용될 수 있다. 레이더 시스템(104)은 환경(100-2)에서 제스처 인식 능력을 관리하기 위한 제2 컨텍스트를 형성한다. UE(102)로의 임의의 이동 없이 철회가 감지되는 경우, 레이더 시스템(104)은 컨텍스트가 디바이스는 이제 사용자(120)의 도달 범위 밖에 있음을 나타내기 때문에 환경(100-2)이 터치 독립형 제스처 인식을 위한 요구사항을 충족하지 않는 보관 컨텍스트라고 결정할 수 있다.
이 예를 마치고 환경(100-3)을 고려한다. 여기서 사용자(120)는 테이블에 놓여 있는 UE(102)과 함께 자신의 책을 읽고 있다. 사용자(120)는 UE(102)로부터 떨어져 자신의 책을 향해 일부 각도로 몸을 배향하고, 사용자(120)는 UE(102)가 아니라 책을 보고 있다. 사용자(120)의 방향에 관한 이러한 추가 정보에 기초하여, 레이더 관리자(106)는 사용자(120)가 UE(102)로부터 연계 해제할 의도(및 가능성이 있음)가 있다고 결정한다. 이 시점에서, 레이더 관리자(106)는 이러한 추가적인 연계 해제 의도 결정을 상태 관리자(112)로 제공하는데, 이는 UE(102)의 상태들을 하위 레벨로 낮추어 디스플레이(116)에서 더 낮은 전력 사용량으로 표시된다(126에서 저광도 및 채도로 하루 중 시간만 표시). 도시되지는 않았지만, 상태 관리자(112)는 또한 사용자(120)를 인증 해제한다(예를 들어, UE(102)를 잠금). 사용자(120)의 방향 또는 사용자(120)가 UE(102)로부터 연계 해제하려는 결정에 관한 이러한 추가 정보는 UE(102)의 제3 컨텍스트를 정의하기 위한 근접도 정보로서 사용될 수 있다. 레이더 시스템(104)은 연계 해제하고 책을 읽으려는 의도를 감지한 것에 응답하여 제3 컨텍스트를 형성한다. 레이더 시스템(104)은 컨텍스트가 디바이스가 이제 사용자(120)의 근접한 영향을 벗어났음을 나타내기 때문에 환경(100-3)이 레이더 기반 제스처 인식을 위한 요구사항을 충족하는 컨텍스트가 아니라고 결정할 수 있다.
이 예에 도시된 바와 같이, 본 명세서에 설명된 기술은 인증 및 레이더 기반 제스처 인식과 관련된 원활한 사용자 경험을 제공하기 위해 사용자 장비의 상태를 관리할 수 있다. 이 기술을 사용하면 다른 기술에 비해 전력 소비를 줄이고 개인 정보 보호 및 보안을 강화하여 이를 가능하게 한다. 상태 관리는 전력, 액세스 및 정보 레벨을 유지하거나 증가시킬 수 있다. 추가로 도시된 바와 같이, 게이팅 없이, UE(102)는 레이더 시스템(104)에 의해 획득된 레이더 데이터로부터 레이더 기반 제스처를 과도하게 해석할 수 있고, 이에 의해 계산 자원 처리를 낭비하고 이어서 잘못된 제스처를 폐기할 수 있다. 컨텍스트에 따라 레이더 시스템(104)의 제스처 인식을 게이팅함으로써, 개시된 기술 및 시스템은 UE(102)가 레이더 기반 제스처 인식을 위한 다른 기술 및 시스템에 비해 레이더 기반 입력을 해석하고 응답할 때 전력을 절약하고, 정확도를 높이거나 대기 시간을 줄일 수 있게 한다.
보다 상세하게는, 도 2에 도시된 인증 시스템(114)의 일 예를 고려한다. 이는 터치 감지 디스플레이를 통한 패스워드 입력, 레이더 시스템(104)을 사용한 레이더 인증, 지문 판독기 등과 같이 상태 관리자(112)에 의해 제어 가능한 다른 인증 시스템을 고려할 때의 하나의 예에 불과하다.
이러한 인증 시스템(114)의 예는 UE(102)(스마트폰으로 도시됨)의 내부(200)를 도시하는 것으로 도시된다. 도시된 구성에서, UE(102)는 레이더 시스템(104)의 레이더 집적 회로(202), 스피커(204), 전면 카메라(206), 및 센서(108)의 예로서 근접 센서(208) 및 주변광 센서(210)를 포함한다. 센서(108)의 추가 예로서, UE(102)는 또한 근적외선(NIR) 투광 조명기(214) 및 근적외선(NIR) 도트 프로젝터(216)를 포함하는 얼굴 잠금 해제 센서(212)를 포함하며, 둘 다 사용자에게 적외선 또는 근적외선 광을 투사한다. 얼굴 잠금해제 센서(212)는 또한 UE(102)의 반대쪽에 위치된 2개의 NIR 카메라(218-1, 218-2)를 포함한다. NIR 카메라(218-1, 218-2)는 사용자에 의해 반사되는 적외선 및 근적외선 광을 감지한다. 이 반사된 근적외선 광은 얼굴 특징을 결정하는데 사용될 수 있으며, 이러한 특징을 이용하여 이전에 저장된 얼굴 특징 정보와의 비교에 기초하여 사용자가 진짜인지를 결정할 수 있다. NIR 투광 조명기(214)는 예를 들어 사용자(및 다른 객체)로부터 반사를 수신할 때 이미지를 제공하는 NIR 광으로 환경을 "투광(floods)"한다. 이 이미지는 주변 조명이 낮거나 전혀 없는 경우에도 사용자의 얼굴을 포함하므로 얼굴 특징을 결정하는데 사용될 수 있다. NIR 도트 프로젝터(216)는 사용자 얼굴의 특징을 포함하여 객체들의 깊이를 결정하기 위해 분석될 수 있는 NIR 광 반사를 제공한다. 따라서, 사용자에 대한 깊이 맵(예를 들어, 스펙트럼 깊이 맵)이 생성될 수 있고(예를 들어, 얼굴 인증을 설정할 때 이전에), 현재 깊이 맵은 결정되어 저장된 이전 생성 깊이 맵과 비교될 수 있다. 이 깊이 맵은 (사용자의 실제 얼굴이 아닌) 사용자 얼굴의 사진 또는 기타 2차원 렌더링의 인증을 방지하는데 도움이 된다.
사용자의 얼굴 특징의 이러한 매핑은 UE(102)에 안전하게 저장될 수 있고, 사용자의 선호도에 기초하여 UE(102)에 대해 안전하고 외부 엔티티에 이용가능하게 되는 것을 방지할 수 있다.
인증 시스템(114)은 얼굴 잠금 해제 센서(212)를 포함하지만 또한 전면 카메라(206), 근접 센서(208) 및 주변광 센서(210)와 같은 다른 구성요소뿐만 아니라 데이터를 분석하기 위한 프로세서, 센서 데이터를 저장, 캐시 또는 버퍼링하기 위한 메모리(여러 전원 상태도 가질 수 있음) 등을 포함할 수 있다.
얼굴 잠금 해제 센서(212)는 아래에 설명된 방법에 언급된 바와같이, IR(적외선) 및 NIR(근적외선) 데이터를 감지하여 얼굴 인식을 수행하며, 이는 기술이 사용자를 인증하고 이에 따라 (예를 들어, UE(102) 잠금을 해제하기 위해) 액세스 상태를 변경할 수 있는 한 가지 방법이다. 전력을 절약하기 위해, 얼굴 잠금 해제 센서(212)는 사용하지 않을 때 저전력 상태(단순히 꺼질 수도 있음)에서 작동한다. 특히, NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)는 오프 상태에서 방사하지 않는다. 그러나, 저전력 또는 무전력 상태에서 중간 전력 상태 및/또는 고전력 상태로의 전환과 관련된 워밍업 시퀀스가 NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)에 대해 사용될 수 있다. 이러한 구성요소 중 하나 또는 둘 모두에 전원을 인가함으로써, 사용자 인증시의 대기 시간(lantency)을 0.5초 이상 줄일 수 있다. 많은 사용자가 매일 자신의 디바이스를 인증하는 횟수가 수십 또는 수백 번이라는 점을 감안하면 이것은 사용자의 시간을 절약하고 경험을 개선할 수 있다. 본 명세서에 언급된 바와 같이, 이 시간 지연은 레이더 시스템(104)에 의해 제공되는 레이더 데이터에 기초하여 사용자가 자신의 디바이스와 연계할 의도가 있다고 결정하는 레이더 관리자(106)에 의해 감소된다. 이것은 상태 관리자(112)에 의해 관리된다. 실제로 이 기술은 워밍업 시퀀스와 연계하고 시작하려는 사용자의 의도를 사전에 감지한다. 이 기술은 사용자가 UE(102)를 터치하기 전에도 그렇게 할 수 있지만, 이것이 필수는 아니다. 따라서, 이 기술은 NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)가 사용자를 인증하는데 사용하기에 충분히 전력을 공급받을 수 있게 하여 사용자가 얼굴 인식이 완료되기를 기다리는데 소비하는 시간을 줄인다.
UE(102)의 다른 구성요소로 이동하기 전에, 얼굴 잠금 해제 센서(212)의 양상을 고려한다. 인증 시스템(114)의 이 예시적인 구성요소는 디스플레이(116)의 평면에 대해 10도만큼 작은 각도에서 얼굴 인식을 사용하여 사용자를 인증할 수 있다. 따라서, 사용자는 전화기를 픽업하여 70 내지 110도 또는 80 내지 100도의 각도로와 같이 센서들을 자신의 얼굴로 돌릴 필요가 없으며, 대신 얼굴 잠금 해제 센서(212)를 사용하는 인증 시스템(114)이 사용자가 UE(102)를 픽업하기 전에 사용자를 인증하도록 구성된다. 이것은 도 3에 도시되어 있으며, 이것은 디스플레이(116)의 평면(304)에 대해 10도만큼 작을 수 있는 각도로 얼굴 인식에 사용되는 얼굴의 일부(예를 들어, 턱, 코 또는 광대뼈)와 함께 사용자(120)를 도시한다. 또한 도시된 바와같이, 사용자(120)는 안면 거리(306)로 도시된 바와같이 얼굴이 얼굴 잠금 해제 센서(212)에서 1미터 이상 떨어져 있는 동안 인증된다. 그렇게 함으로써, 기술은 UE(102)가 거꾸로 또는 이상한 각도로 배향된 경우에도 거의 원활하고 즉각적인 인증을 허용한다.
더 자세하게는, IMU 및 레이더를 통한 인증 관리를 위한 기술을 구현할 수 있는 UE(102)(레이더 관리자(106), 움직임 관리자(110) 및 상태 관리자(112) 포함)의 예시적인 구현(400)을 도시하는 도 4를 고려한다. 도 4의 UE(102)는 UE(102-1), 태블릿(102-2), 랩탑(102-3), 데스크탑 컴퓨터(102-4), 컴퓨팅 시계(102-5), 컴퓨팅 안경(102-6), 게임 시스템(102-7), 홈 자동화 및 제어 시스템(102-8) 및 마이크로웨이브(102-9)를 포함하는 다양한 예시적인 디바이스로 도시된다. UE(102)는 또한 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 자동차, 드론, 트랙패드, 드로잉 패드, 넷북, e-리더, 홈 보안 시스템 및 기타 가전제품과 같은 다른 디바이스를 포함할 수 있다. UE(102)는 착용가능, 착용불가능하지만 이동가능하거나, 또는 상대적으로 이동가능하지 않을 수 있음(예를 들어, 데스크탑 및 기기)에 유의한다.
UE(102)는 전술한 센서(108)의 예로서 관성 측정 장치(408)를 포함한다. UE(102)의 예시적인 전체 측면 치수는 약 8cm×15cm일 수 있다. 레이더 시스템(104)의 예시적인 풋프린트는 안테나가 포함된 약 4mm×6mm와 같이, 훨씬 더 제한적일 수 있다. 전력 및 처리 제한과 결합된 이러한 공간-제한 패키지에서 UE(102)의 많은 다른 바람직한 특징을 수용하기 위해 필요한 레이더 시스템(104)에 대한 이러한 제한된 풋프린트의 요구사항은 레이더 기반 제스처 인식의 정확성과 효율성을 떨어뜨릴 수 있으며, 그 중 적어도 일부는 본 명세서의 교시에 비추어 극복될 수 있다.
UE(102)는 또한 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 프로세서(402) 및 하나 이상의 컴퓨터 판독 가능 매체(404)를 포함한다. 컴퓨터 판독 가능 매체(404) 상의 컴퓨터 판독 가능 명령들로서 구현된 애플리케이션 및/또는 운영 체제(미도시)는 컴퓨터 프로세서들(402)에 의해 실행되어 (필수는 아니지만 컴퓨터 판독 가능 매체(404)내에 도시된) 레이더 관리자(106), 움직임 관리자(110) 및 상태 관리자(112)의 기능들 중 일부 또는 전부와 같이 본 명세서에 설명된 기능들의 일부 또는 전부를 제공할 수 있다.
UE(102)는 또한 네트워크 인터페이스(406)를 포함할 수 있다. UE(102)는 유선, 무선 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(406)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(406)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 통신망(PAN), 광역 통신망(WAN), 인트라넷, 인터넷, 피어-투-피어 네트워크, 포인트-투-포인트 네트워크 또는 메쉬 네트워크을 통해 데이터를 통신할 수 있다.
양태들에서, 레이더 시스템(104)은 적어도 부분적으로 하드웨어로 구현된다. 레이더 시스템(104)의 다양한 구현은 시스템-온-칩(SoC), 하나 이상의 집적 회로(IC), 내장된 프로세서 명령들이 있거나 메모리에 저장된 프로세서 명령들에 액세스하도록 구성된 프로세서, 내장된 펌웨어가 있는 하드웨어, 다양한 하드웨어 구성요소가 있는 인쇄 회로 기판 또는 이들의 조합을 포함할 수 있다. 레이더 시스템(104)은 자신의 자체 레이더 신호를 송수신함으로써 모노스태틱 레이더로 작동한다. 일부 구현에서, 레이더 시스템(104)은 또한 바이스태틱 레이더, 멀티-스태틱 레이더 또는 네트워크 레이더를 구현하기 위해 외부 환경 내에 있는 다른 레이더 시스템들(104)과 협력할 수 있다. 그러나, UE(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 미칠 수 있다. UE(102)는 예를 들어 레이더를 작동하는데 이용 가능한 제한된 전력, 제한된 계산 능력, 크기 제약, 레이아웃 제약, 레이더 신호를 감쇠 또는 왜곡하는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 아래에서 추가로 설명되는 바와 같이 이러한 제약이 존재하는 경우에 고급 레이더 기능 및 고성능이 실현될 수 있도록 하는 여러 특징을 포함한다.
상태 관리자(112)가 동작할 수 있는 추가적인 예시적인 방식을 설정하기 전에, UE(102)가 동작할 수 있고 상태 관리자(112)에 의해 관리될 수 있는 많은 정보, 전력 및 액세스 상태를 도시하는 도 5를 고려한다.
도 5는 UE(102)가 동작할 수 있는 액세스, 정보 및 전력 상태를 도시하며, 이들 각각은 설명된 기술에 의해 관리될 수 있다. 디바이스 상태(500)의 이러한 예시적인 레벨 및 유형은 액세스 상태(502), 전력 상태(504) 및 정보 상태(506)에 대해 각각의 많은 레벨이 고려되지만 시각적 간결성을 위해 3가지 세부 레벨로 도시된다. 액세스 상태(502)는 높은 액세스 상태(502-1), 중간 액세스 상태(502-2) 및 낮은 액세스 상태(502-3)의 3가지 예시적인 세부 레벨로 도시된다. 유사하게, 전력 상태(504)는 고전력 상태(504-1), 중간 전력 상태(504-2) 및 저전력 상태(504-3)의 3가지 예시적인 세부 레벨로 도시된다. 마찬가지로, 정보 상태(506)는 높은 정보 상태(506a), 중간 정보 상태(506b) 및 낮은 정보 상태(506c)의 3가지 예시적인 세부 레벨로 도시된다.
더 상세하게는, 액세스 상태(502)는 UE(102)의 데이터, 애플리케이션 및 기능에 대해 디바이스의 사용자가 이용할 수 있는 액세스 권한과 관련된다. 이 액세스는 높을 수 있으며 종종 UE(102)에 대한 "잠금 해제" 상태로서 지칭된다. 이 높은 액세스 레벨은 단순히 디바이스의 애플리케이션 및 기능을 포함할 수 있거나, UE(102)를 통해 액세스할 수 있는 은행 계좌, 소셜 미디어 계정 등과 같은 다양한 계정에 대한 액세스를 포함할 수도 있다. UE(102)와 같은 많은 컴퓨팅 디바이스는 높은 액세스 상태(502-1)와 같은 높은 액세스를 제공하기 위해 인증을 필요로 한다. 그러나, 사용자가 UE(102)의 모든 계정, 서비스 또는 구성요소 전부가 아닌 일부에 액세스하는 것을 허용하는 상태와 같이 다양한 중간 레벨의 액세스(502-2)가 UE(102)에 의해 허용될 수 있다. 예시는 사용자가 사진을 찍을 수는 있지만 이전에 캡처된 사진에 액세스할 수는 없는 것을 포함한다. 다른 예시는 사용자가 전화를 받을 수 있지만 전화를 걸 때 연락처 목록에 액세스할 수는 없는 것을 포함한다. 이것은 중간 액세스 상태(502-2)로 도시된, UE(102)가 허용할 수 있는 많은 중간 권한 중 일부에 불과하다. 마지막으로, 액세스 상태(502)는 낮은 액세스 상태(502-3)로 도시된 액세스의 허용을 억제할 수 있다. 이 경우 디바이스가 켜져 있을 수 있고, 사용자를 깨우기 위해 알람과 같은 통지를 보낼 수 있지만, UE(102)의 기능에 대한 액세스를 허용하지 않을 수 있다(또는 UE(102)가 단순히 꺼져 있어 액세스를 허용하지 않을 수 있음).
전력 상태(504)는 고전력 상태(504-1), 중간 전력 상태(504-2) 및 저전력 상태(504-3)의 3가지 예시적인 세부 레벨로 도시된다. 전력 상태(504)는 레이더 시스템(104), 디스플레이(116) 또는 다른 전력 소비 구성요소(예를 들어, 프로세서, 카메라, 마이크로폰, 음성 어시스턴트, 터치스크린, 센서, 레이더 및 인증 시스템(114)의 일부인 구성요소(나열된 이전 구성요소도 포함할 수 있음)와 같은 UE(102)의 하나 이상의 구성요소에 대한 전력량과 관련된다. 일반적으로 전력 상태(504)뿐만 아니라 구성요소에 전력(전원)을 공급하는 컨텍스트에서, 전력, 전력 공급, 전력 증가, 전력 감소 등과 같은 용어에는 전력 관리 집적 회로(PMIC)의 제어; PMIC에서 확장되는 전원 레일 관리; 전원 레일, PMIC 및 하나 이상의 회로 구성요소(예를 들어, 언급된 NIR 구성요소, 카메라, 디스플레이 및 레이더) 사이의 개폐 스위치; 및 인가된 전압을 램핑 또는 분배하거나 돌입 전류를 관리하는 것을 포함할 수 있는 구성요소를 정확하고 안전하게 작동하기 위한 공급 전압 제공이 포함될 수 있다.
레이더 시스템(104)과 관련하여, 전력 상태(504)는 상이한 듀티 사이클에서 레이더 데이터를 수집하고(예를 들어, 낮은 주파수는 더 적은 전력을 사용하고 높은 주파수는 더 많은 전력을 사용할 수 있음), 구성요소들이 활성화되지 않은 경우 다양한 구성요소를 끄거나, 전력 증폭 수준을 조정함으로써 감소될 수 있다. 그렇게 함으로써, 레이더 시스템(104)은 고전력 상태(504-1)에서 대략 90mW의 전력, 중간 전력 상태(504-2)에서 30 내지 60mW, 또는 저전력 상태(504-3)에서 30mW 미만(예를 들어, 레이더 시스템(104)은 사용자 존재와 같은 일부 사용 가능한 레이더 데이터를 여전히 제공하면서 2 내지 20mW로 동작할 수 있음)을 사용할 수 있다. 이들 전력 사용 레벨 각각은 상이한 해상도와 거리를 허용한다. 레이더 시스템(104)(및 UE(102))의 전력 관리에 관한 추가 세부사항은 도 6a을 참조하여 설명된다.
위에서 언급한 상태 변경의 컨텍스트에서, 상태 관리자(112)는 레이더 관리자(106) 및 움직임 관리자(110)에 의한 결정에 기초하여 UE(102)의 다양한 구성요소의 전원을 켜거나 끌 수 있다.
예를 들어, 상태 관리자(112)는 인증 시스템(114) 또는 디스플레이(116)의 전력을 저전력 상태로부터 (예를 들어, 저전력 상태(504-3)에서 중간 전력 상태(504-2) 또는 이들 중 하나를 고전력 상태(504-1)로) 변경할 수 있다. 그렇게 함으로써, UE(102)는 사용자와 더 빨리 또는 더 쉽게 연계(관여)하거나 사용자를 인증할 수 있다. 따라서, 상태 관리자(112)는 전력 상태(504)를 UE(102)의 시스템 또는 UE(102)와 관련된 특정 전력 소비 엔티티에 대해 현재의 경우보다 더 높거나 더 낮은 전력으로 변경할 수 있다. 얼굴 잠금 해제 센서(212) 및 그의 구성요소, NIR 투광 조명기(214) 및 NIR 도트 프로젝터(216)뿐만 아니라 NIR 카메라(218-1 및 218)의 전원을 켜거나 끄고 이러한 구성요소들, 디스플레이, 마이크로폰, 터치 입력 센서 등의 전력을 줄이는 것을 포함하는 예시적인 구성요소들이 위의 도 2의 일부로 추가로 설명된다.
UE(102)의 예시적인 제3 상태는 정보 상태(506)이며, 이는 높은 정보 상태(506a), 중간 정보 상태(506b), 및 낮은 정보 상태(506c)로 도시된다. 보다 상세하게는, 정보 상태(506)는 사용자, 예를 들어 도 1의 사용자(120)에게 제공되는 정보의 양과 관련된다. 통지의 컨텍스트에서, 높은 정보 상태(506a)는 가장 상위 레벨의 정보를 제공하고, 일반적으로 UE(102)가 잠금 해제되거나 그렇지 않으면 인증되거나 인증 없이도 상위 레벨의 정보를 제공하기 위한 사용자 선호도가 있다고 가정한다. 예시는 높은 정보 상태(506a)의 경우, 전화를 받을 때 발신자의 이름, 번호 및 관련 이미지를 표시하는 것을 포함한다. 유사하게, 문자나 이메일, 또는 다른 유형의 메시지가 수신될 때, 그 컨텐츠는 디스플레이(116) 또는 오디오 스피커, 주변기기 등을 통해 자동으로 제시된다. 이는 사용자의 선호도에 따라 필요한 연계가 결정될 수 있지만 상위 레벨의 연계를 가정한다. 여기에서는 사용자의 연계 및 제공되는 정보의 양 사이에 일부 상관관계가 있다고 가정하므로 기술은 연계를 결정함으로써 해당 결정에 제시된 정보를 조정할 수 있다. 감소된 정보의 예, 예를 들어 중간 정보 상태(506b)에는 전화가 수신되었을 때 발신자 이름/신원이 아닌 벨소리는 제시하는 것, 문자 메시지 또는 이메일이 수신되었지만 제목만 수신되었거나, 주소만 수신되었거나, 또는 전체가 아닌 본문의 컨텐츠의 일부만 수신되었음을 표시하는 것을 포함한다. 낮은 정보 상태(506-3)는 사용자(120)와 개인적으로 관련된 정보를 거의 또는 전혀 제시하지 않지만, 현재 날짜, 시간, 날씨 조건, 배터리 전원 상태를 보여주는 디스플레이(116) 또는 UE(102)가 켜져 있는 것과 같이 일반적이거나 널리 알려진 상식이거나 민감하지 않은 정보를 포함할 수 있다. 낮은 정보 상태(506-3)의 다른 예에는 문자 메시지가 수신될 때 메시지가 수신되었음을 나타내는 가청 "핑(ping)" 또는 호출을 위한 벨소리는 있지만 호출자에 대한 이름, 번호 또는 다른 정보는 없는 빈 또는 검은색 화면을 포함한다.
도 6a는 레이더 시스템(104)의 예시적인 구현(600)을 도시한다. 예시(600)에서, 레이더 시스템(104)은 통신 인터페이스(602), 안테나 어레이(604), 송수신기(606), 프로세서(608) 및 시스템 매체(610)(예를 들어, 하나 이상의 컴퓨터 판독 가능 저장 매체)의 각각의 구성요소 중 적어도 하나를 포함한다. 프로세서(608)는 디지털 신호 프로세서, 컨트롤러, 애플리케이션 프로세서, 기타 프로세서(예를 들어, UE(102)의 컴퓨터 프로세서(402)) 또는 이들의 일부 조합으로 구현될 수 있다. UE(102)의 컴퓨터 판독가능 매체(404) 내에 포함되거나 그로부터 분리될 수 있는 시스템 매체(610)는 감쇠 완화기(614), 디지털 빔형성기(616), 각도 추정기(618) , 전력 관리 모듈(620) 또는 제스처 인식 모듈(621)과 같은 모듈 중 하나 이상을 포함할 수 있다. 이들 모듈은 UE(102) 내에 레이더 시스템(104)을 통합함으로써 그 효과를 보상하거나 완화할 수 있고, 이에 의해 레이더 시스템(104)이 작거나 복잡한 제스처를 인식하고, 사용자의 상이한 방향(예를 들어, "도달 범위")을 구별하고, 외부 환경을 지속적으로 모니터링하거나 목표 오경보율을 실현할 수 있게 한다. 이러한 특징으로, 레이더 시스템(104)은 도 4에 도시된 디바이스와 같은 다양한 상이한 디바이스 내에서 구현될 수 있다.
통신 인터페이스(602)를 사용하여, 레이더 시스템(104)은 레이더 관리자(106)에게 레이더 데이터를 제공할 수 있다. 통신 인터페이스(602)는 UE(102)와 별도로 구현되거나 UE(102) 내에 통합되는 레이더 시스템(104)에 기반한 무선 또는 유선 인터페이스일 수 있다. 애플리케이션에 따라, 레이더 데이터는 원시 또는 최소 처리된 데이터, 동위상 및 직교(I/Q) 데이터, 범위-도플러 데이터, 타겟 위치 정보(예를 들어, 범위, 방위각, 고도)를 포함하는 처리된 데이터, 클러터 맵 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 연계, 연계 해제 또는 연계를 유지하려는 사용자의 의도를 상태 관리자(112)에 제공하기 위해 레이더 관리자(106)에 의해 사용 가능한 정보를 포함한다.
안테나 어레이(604)는 적어도 하나의 송신 안테나 소자(미도시) 및 적어도 2개의 수신 안테나 소자(도 7에 도시됨)를 포함한다. 일부 경우, 안테나 어레이(604)는 한 번에 다수의 별개의 파형(예를 들어, 송신 안테나 소자당 상이한 파형)을 송신할 수 있는 다중 입력 다중 출력(MIMO) 레이더를 구현하기 위해 다수의 송신 안테나 소자를 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬 수 있다. 수신 안테나 소자는 3개 이상의 수신 안테나 소자를 포함하는 구현을 위해 1차원 형상(예를 들어, 라인) 또는 2차원 형상으로 위치될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예를 들어, 방위각 또는 고도)를 측정할 수 있게 하는 반면, 2차원 형상은 2개의 각도 치수(예를 들어, 방위각 및 고도 모두)가 측정될 수 있게 한다. 수신 안테나 소자의 예시적인 2차원 배열은 도 7과 관련하여 추가로 설명된다.
도 6b는 예시적인 송수신기(606) 및 프로세서(608)를 도시한다. 송수신기(606)는 레이더 시스템(104)의 동작 상태에 따라 전력 관리 모듈(620)을 통해 개별적으로 턴온 또는 턴오프할 수 있는 다수의 구성요소를 포함한다. 전력 관리 모듈(620)은 상태 관리자(112)가 사용자를 인증하는데 사용되는 구성요소(예를 들어, 인증 시스템(114))의 전원을 켜거나 끄는 경우와 같이 상태 관리자(112)와 분리되거나, 통합되거나, 그의 제어 하에 있을 수 있다는 점에 유의한다. 송수신기(606)는 활성(active) 구성요소(622), 전압 제어 발진기(VCO) 및 전압 제어 버퍼(624), 멀티플렉서(626), 아날로그-디지털 변환기(ADC)(628), 위상 잠금 루프(PLL)(630) 및 수정 발진기(632)와 같은 각각의 컴포넌트 중 적어도 하나를 포함하는 것으로 도시되어 있다. 턴온되면, 레이더 시스템(104)이 레이더 신호를 송신 또는 수신하기 위해 이들 구성요소를 능동적으로 사용하지 않더라도, 이들 구성요소 각각은 전력을 소비한다. 활성 컴포넌트(622)는 예를 들어 공급 전압에 연결된 증폭기 또는 필터를 포함할 수 있다. VCO(624)는 PLL(630)에 의해 제공되는 제어 전압에 기초하여 주파수 변조된 레이더 신호를 생성한다. 수정 발진기(632)는 레이더 시스템(104) 내에서 신호 생성, 주파수 변환(예를 들어, 상향 변환 또는 하향 변환), 또는 타이밍 동작을 위한 기준 신호를 생성한다. 이러한 구성요소를 턴온 또는 턴오프함으로써, 전력 관리 모듈(620)은 레이더 시스템(104)이 활성 및 비활성 동작 상태 사이를 신속하게 전환하고 다양한 비활성 시간 주기 동안 전력을 절약할 수 있게 한다. 이러한 비활성 시간 주기는 마이크로초(μs), 밀리초(ms) 또는 초(s) 정도일 수 있다.
프로세서(608)는 저전력 프로세서(608-1) 및 고전력 프로세서(608-2)와 같이 상이한 양의 전력을 소비하는 다수의 프로세서를 포함하는 것으로 도시되어 있다. 예를 들어, 저전력 프로세서(608-1)는 레이더 시스템(104) 내에 내장된 프로세서를 포함할 수 있고 고전력 프로세서는 레이더 시스템(104) 외부에 있는 컴퓨터 프로세서(402) 또는 일부 다른 프로세서를 포함할 수 있다. 전력 소비의 차이는 상이한 사용 가능한 메모리 양 또는 계산 능력때문에 발생할 수 있다. 예를 들어, 저전력 프로세서(608-1)는 고전력 프로세서(608-2)에 비해 더 적은 메모리를 사용하고, 더 적은 계산을 수행하거나 더 간단한 알고리즘을 사용할 수 있다. 이러한 제한에도 불구하고 저전력 프로세서(608-1)는 (관성 데이터가 아닌 레이더 데이터에 기초하여) 근접 감지 또는 모션 감지와 같은 덜 복잡한 레이더 기반 애플리케이션에 대한 데이터를 처리할 수 있다. 반면에, 고전력 프로세서(608-2)는 많은 양의 메모리를 활용하고, 많은 양의 계산을 수행하거나, 복잡한 신호 처리, 추적 또는 기계 학습 알고리즘을 실행할 수 있다. 고전력 프로세서(608-2)는 제스처 인식, 얼굴 인식(인증 시스템(114)용)과 같은 주목받는(high-profile) 레이더 기반 애플리케이션을 위한 데이터를 처리하고, 각도 모호성의 해결 또는 여러 사용자 및 그들 기능의 구별을 통해 정확한 고해상도 데이터를 제공할 수 있다. .
전력을 절약하기 위해, 전력 관리 모듈(620)은 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2)가 레이더 데이터를 처리하는데 사용되는지 여부를 제어할 수 있다. 일부 경우, 저전력 프로세서(608-1)는 분석의 일부를 수행하고 데이터를 고전력 프로세서(608-2)로 전달할 수 있다. 예시적인 데이터는 클러터 맵, 원시 또는 최소한으로 처리된 레이더 데이터(예를 들어, 동위상 및 직교 데이터 또는 범위-도플러 데이터) 또는 디지털 빔형성 데이터를 포함할 수 있다. 저전력 프로세서(608-1)는 또한 일부 낮은 수준의 분석을 수행하여 고전력 프로세서(608-2)가 분석할 환경에 관심 있는 것이 있는지 여부를 결정할 수 있다. 이러한 방식으로, 고충실도 또는 정확한 레이더 데이터가 레이더 기반 애플리케이션에 의해 요청되는 상황에 대해 고전력 프로세서(608-2)를 활용하면서 고전력 프로세서(608-2)의 동작을 제한함으로써 전력이 절약될 수 있다. 레이더 시스템(104) 내에서 전력 소비에 영향을 미칠 수 있는 다른 요인은 도 6a과 관련하여 추가로 설명된다.
제스처 인식 모델(621)은 레이더 시스템(104)에 의해 획득된 레이더 데이터로부터 터치 독립형 제스처와 같은 제스처를 해석한다. 제스처는 (예를 들어, 레이더 시스템(104)이 마이크로파 방출을 출력하는 표면 근처에서 수행되는) 2차원 제스처일 수 있다. 제스처는 공중에서 수행되는 3차원 제스처일 수 있다.
레이더 데이터에 기초하여, 제스처 인식 모델(621)은 자신의 손가락, 손, 눈, 머리, 입 등을 포함하여 사용자가 자신의 신체로 만드는 단서, 모양 및 신호를 식별한다. 제스처 인식 모델(621)은 사용자의 움직임을 사전 결정된 제스처의 모양, 기호 및 움직임에 매칭시킨다. 레이더 데이터가 특정 제스처와 매칭된다는 결정에 응답하여, 제스처 인식 모델(621)은 예를 들어 사용자(120) 인증과 같은 애플리케이션 기능 또는 운영 체제를 제어하는 기능을 수행하기 위해 제스처의 표시를 다른 구성요소로 출력한다.
제스처 인식 모델(621)은 레이더 데이터로부터 터치-독립 제스처를 식별하도록 트레이닝된 신경망과 같은 기계 학습 모델일 수 있다. 예를 들어, 제스처 인식 모델(621)은 레이더 데이터의 샘플 및 레이더 데이터와 매칭하는 제스처의 대응하는 부분을 포함하는 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 트레이닝 데이터에 기초하여, 제스처 인식 모델(621)은 유사한 레이더 데이터가 수신될 때 제스처의 대응하는 부분이 식별되어 제스처 예측을 구성하는데 사용되도록 레이더 시스템(104)에 의해 수신된 레이더 데이터의 샘플에 적용할 규칙을 결정한다. 규칙을 실행할 때, 제스터 인식 모델(621)은 레이더 데이터로부터 예측된 인식된 제스처의 표시를 출력할 수 있다.
일부 경우, 인식된 제스처의 표시는 신뢰도 및 스코어를 동반할 수 있다. 신뢰도는 레이더 데이터(104)가 식별된 제스처에 적용된 신뢰도의 정도를 나타낸다. 제스처 인식 모델(621)은 컨텍스트에 기초하여 식별(된) 제스처에 대한 신뢰도를 조정할 수 있다. 예를 들어, 제스처 인식 모델(621)은 사용자가 움직이지 않는 환경에서 제스처를 감지할 때 높은 신뢰도를 적용하는 반면 사용자가 움직이는 환경에서 유사한 제스처를 감지할 때 낮은 신뢰도를 적용한다. 제스처 인식 모델(621)은 큰 객체가 레이더 시스템(104)을 가리고 있는 환경에서 제스처를 감지할 때 낮은 신뢰도를 적용하는 반면 사용자가 UE(102)를 보고 있는 환경에서 유사한 제스처를 감지할 때 높은 신뢰도를 적용할 수 있다. 감지된 제스처에 의존하는 애플리케이션 또는 기타 구성요소는 제스처와 관련된 신뢰도 또는 스코어에 따라 제스처를 폐기하거나 처리할 수 있다. 설명된 기술 및 시스템은 제스처를 게이트하기 위해 신뢰도 또는 스코어를 적용할 수 있으므로 제스처는 폐기되고 기능을 수행하는데 사용되지 않는다.
도 1, 2, 4 및 6-9의 엔티티들이 작용하고 상호작용하는 방식뿐만 아니라 이들 및 기타 기능 및 구성이 아래에 더 상세히 설명된다. 이러한 엔터티는 추가로 분할, 결합 등을 할 수 있다. 도 1의 환경(100) 및 도 2 내지 도 9의 상세한 예시는 설명된 기술을 사용할 수 있는 많은 가능한 환경 및 디바이스의 일부를 도시한다. 도 6-9는 레이더 시스템(104)의 추가적인 세부사항 및 특징을 설명한다. 도 6-9에서, 레이더 시스템(104)은 UE(102)의 컨텍스트에서 설명되지만, 위에서 언급한 바와 같이, 설명된 시스템 및 기술의 특징 및 이점의 적용 가능성은 반드시 그렇게 제한되지 않으며, 다른 유형을 전자 디바이스를 포함하는 다른 실시예도 본 교시의 범위 내에 있을 수 있다.
도 7은 수신 안테나 소자(702)의 예시적인 배열(700)을 도시한다. 안테나 어레이(604)가 적어도 4개의 수신 안테나 소자(702)를 포함하는 경우, 예를 들어 수신 안테나 소자(702)는 도 7의 중간에 도시된 바와 같이 직사각형 배열(704-1)로 배열될 수 있다. 대안적으로, 안테나 어레이(604)가 적어도 3개의 수신 안테나 소자들(702)을 포함한다면 삼각형 배열(704-2) 또는 L-형 배열(704-3)이 사용될 수 있다.
UE(102)의 크기 또는 레이아웃 제약으로 인해, 수신 안테나 소자(702) 간의 소자 간격 또는 수신 안테나 소자(702)의 수량은 레이더 시스템(104)이 모니터링해야 하는 각도에는 이상적이지 않을 수 있다. 특히, 소자 간격은 기존 레이더가 타겟의 각도 위치를 추정하는 것을 어렵게 만드는 각도 모호성의 존재를 야기할 수 있다. 따라서 기존의 레이더는 각도 모호성이 있는 모호한 영역을 피하기 위해 시야(예를 들어, 모니터링해야 하는 각도)를 제한하여 오탐을 줄일 수 있다. 예를 들어, 기존의 레이더는 8밀리미터(mm)의 파장과 6.5mm의 소자 간격(예를 들어, 파장의 90%인 소자 간격)을 사용하여 발생하는 모호한 각도를 피하기 위해 시야를 약 -45도에서 45도 사이의 각도로 제한할 수 있다. 결과적으로, 기존의 레이더는 시야의 45도 한계를 초과하는 타겟을 탐지하지 못할 수 있다. 반면에, 레이더 시스템(104)은 각도 모호성을 해결하고 레이더 시스템(104)이 약 -90도에서 90도 사이 또는 약 -180도에서 180도 사이의 각도와 같은 45도 한계를 초과하는 각도를 모니터링할 수 있게 하는 디지털 빔형성기(616) 및 각도 추정기(618)를 포함한다. 이러한 각도 범위는 하나 이상의 방향(예를 들어, 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 같은 소자 간격을 포함하는 다양한 상이한 안테나 어레이 설계에 대해 낮은 오경보율을 실현할 수 있다.
안테나 어레이(604)를 사용하여, 레이더 시스템(104)은 조정(steer)되거나 조정되지 않은, 넓거나 좁은, 성형된(예를 들어, 반구, 큐브, 팬, 원뿔 또는 원기둥) 빔을 형성할 수 있다. 예로서, 하나 이상의 송신 안테나 소자(미도시)는 조정되지 않은 전방향성 방사 패턴을 가지거나 광폭 송신 빔(706)과 같은 광폭 빔을 생성할 수 있다. 이들 기술 중 어느 하나는 레이더 시스템(104)이 많은 공간 볼륨을 조명하는 것을 가능하게 한다. 그러나 목표 각도 정확도 및 각도 해상도를 달성하기 위해 수신 안테나 소자(702)와 디지털 빔형성기(616)는 좁은 수신 빔(708)과 같은 수천 개의 협소하고 조정된 빔(예를 들어, 3000개 빔, 7000개 빔 또는 9000개 빔)을 생성하는데 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사의 도달 각도를 정확하게 결정할 수 있다.
도 6a로 돌아가면, 송수신기(606)는 안테나 어레이(604)를 통해 레이더 신호를 송수신하기 위한 회로 및 로직을 포함한다. 송수신기(606)의 구성요소는 레이더 신호를 조절하기 위한 증폭기, 혼합기, 스위치, 아날로그-디지털 변환기, 필터 등을 포함할 수 있다. 송수신기(606)는 또한 변조 또는 복조와 같은 동위상/직교(I/Q) 동작을 수행하기 위한 로직을 포함할 수 있다. 송수신기(606)는 연속파 레이더 동작 또는 펄스형 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 단계적 주파수 변조 또는 위상 변조를 포함하는 다양한 변조가 레이더 신호를 생성하는데 사용될 수 있다.
송수신기(606)는 1GHz와 400GHz 사이, 4GHz와 100GHz 사이 또는 57GHz와 63GHz 사이와 같은 주파수 범위(예를 들어, 주파수 스펙트럼) 내에서 레이더 신호를 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 상이한 대역폭을 갖는 다수의 서브 스펙트럼으로 나눌 수 있다. 대역폭은 500MHz, 1GHz, 2GHz 등일 수 있다. 예로서, 상이한 주파수 서브 스펙트럼은 약 57GHz와 59GHz사이, 59GHz와 61GHz사이 또는 61GHz와 63GHz 사이의 주파수를 포함할 수 있다. 동일한 대역폭을 갖고 연속하거나 비연속할 수 있는 다중 주파수 서브 스펙트럼도 일관성(coherence)을 위해 선택될 수 있다. 다중 주파수 서브 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 시간에 따라 분리되거나 동시에 전송될 수 있다. 연속 주파수 서브 스펙트럼은 레이더 신호가 더 넓은 대역폭을 가질 수 있게 하는 반면 비연속 주파수 서브 스펙트럼은 각도 추정기(618)가 각도 모호성을 해결할 수 있게 하는 진폭 및 위상 차이를 추가로 강조할 수 있다. 감쇠 완화기(614) 또는 각도 추정기(618)는 도 8 및 도 9와 관련하여 추가로 설명되는 바와 같이, 송수신기(606)가 레이더 시스템(104)의 성능을 개선하기 위해 하나 이상의 주파수 서브 스펙트럼을 이용하게 할 수 있다. 기술의 일부 실시예는 UE(102)가 휴대용 스마트폰이고, 레이더 신호는 57Ghz~64Ghz 대역에 있고, 피크 유효 등방성 복사 전력(EIRP)이 10dBm~20dBm(10mW-100mW) 범위에 있고, 평균 전력 스펙트럼 밀도는 약 13dBm/MHz일 때 특히 유리하며, 이는 방사선 건강 및 공존 문제를 적절하게 해결하는 동시에 IMU 및 레이더를 통한 인증 관리에 대해 설명된 방법이 특히 우수한 시간-절약 편의성을 제공하는 스마트폰 및 사용자 주변에 적절한 크기의 레이더 감지 "버블"(예를 들어, 최소 1미터, 종종 최대 2미터를 초과하는 범위)을 제공하는 것으로 밝혀졌다.
전력 관리 모듈(620)은 성능과 전력 소비의 균형을 맞추기 위해 전력 사용을 관리한다. 예를 들어, 전력 관리 모듈(620)은 레이더 관리자(106)와 통신하여 레이더 시스템(104)이 사전 정의된 레이더 전력 상태를 사용하여 데이터를 수집하게 한다. 각각의 사전 정의된 레이더 전력 상태는 특정 프레임 구조, 특정 전송 전력 레벨 또는 특정 하드웨어(예를 들어, 도 6b의 저전력 프로세서(608-1) 또는 고전력 프로세서(608-2))와 관련될 수 있다. 이들 중 하나 이상을 조정하면 레이더 시스템의 전력 소비에 영향을 준다. 그러나 전력 소비를 줄이면, 제스처 프레임 업데이트 속도(rate) 및 응답 지연과 같은 성능에 영향을 미치며 이에 대해서는 아래에서 설명한다.
도 6c는 전력 소비, 제스처 프레임 업데이트 속도(634) 및 응답 지연 사이의 예시적인 관계를 도시한다. 그래프(636)에서, 레이더 전력 상태(6381, 638-2, 638-3)는 상이한 전력 소비 레벨 및 제스처 프레임 업데이트 속도(634)와 연관된다. 제스처 프레임 업데이트 속도(634)는 레이더 시스템(104)이 하나 이상의 레이더 신호를 송수신함으로써 외부 환경을 얼마나 자주 능동적으로 모니터링하는지를 나타낸다. 일반적으로 말하면, 전력 소비는 제스처 프레임 업데이트 속도(634)에 비례한다. 이와 같이, 더 높은 제스처 프레임 업데이트 속도(634)는 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비되게 한다.
그래프(636)에서, 레이더 전력 상태(638-1)는 가장 적은 양의 전력을 사용하는 반면, 레이더 전력 상태(638-3)는 가장 많은 양의 전력을 소비한다. 예로서, 레이더 전력 상태(638-1)는 몇 밀리와트(mW) 정도(예를 들어, 약 2mW~4mW)의 전력을 소비하는 반면 레이더 전력 상태(638-3)는 몇 밀리와트 정도(예를 들어, 약 6mW~20mW이)의 전력을 소비한다. 제스처 프레임 업데이트 속도(634)의 관점에서, 레이더 전력 상태(638-1)는 몇 헤르츠(예를 들어, 약 1Hz 또는 5Hz 미만) 정도의 업데이트 속도를 사용하는 반면 레이더 전력 상태(638-3)는 수십 헤르츠(예를 들어, 약 20Hz 또는 10Hz 초과) 정도인 제스처 프레임 업데이트 속도(634)를 사용한다.
그래프(640)는 상이한 레이더 전력 상태(638-1 내지 638-3)에 대한 제스처 프레임 업데이트 속도(634)와 응답 지연 사이의 관계를 도시한다. 일반적으로 말하면, 응답 지연은 제스처 프레임 업데이트 속도(634)와 전력 소비 모두에 반비례한다. 특히, 응답 지연은 제스처 프레임 업데이트 속도(634)가 증가하는 동안 기하급수적으로 감소한다. 레이더 전력 상태(638-1)와 관련된 응답 지연은 수백 밀리초(ms) 정도(예를 들어, 1000ms 또는 200ms 이상)일 수 있는 반면 레이더 전력 상태(638-3)와 관련된 응답 지연은 몇 밀리초 정도(예를 들어, 50ms 또는 100ms 미만)일 수 있다. 레이더 전력 상태(638-2)의 경우, 전력 소비, 제스처 프레임 업데이트 속도(634) 및 응답 지연은 레이더 전력 상태(638-1)와 레이더 전력 상태(638-3) 사이에 있다. 예를 들어, 레이더 전력 상태(638-2)의 전력 소비는 약 5mW이고, 제스처 프레임 업데이트 속도는 약 8Hz이며, 응답 지연은 약 100ms와 200ms 사이이다.
레이더 전력 상태(638-1) 또는 레이더 전력 상태(638-3)에서 동작하는 대신에, 전력 관리 모듈(620)은 응답 지연과 소비 전력이 환경내의 활동에 기초하여 함께 관리되도록 레이더 전력 상태(638-1, 638-2, 638)(및 이러한 레이더 전력 상태(638) 각각 사이의 서브-상태) 사이를 동적으로 스위칭한다. 예를 들어, 전력 관리 모듈(620)은 외부 환경을 모니터링하거나 접근하는 사용자를 감지하기 위해 레이더 전력 상태(638-1)를 활성화한다. 나중에, 전력 관리 모듈(620)은 레이더 시스템(104)이 사용자가 연계 의도를 나타내고 있거나 그렇게 하기 시작할 수 있거나 제스처를 수행하기 시작한다고 결정하는 경우 레이더 전력 상태(638-3)를 활성화한다. 상이한 트리거는 전력 관리 모듈(620)이 상이한 레이더 전력 상태(638-1 내지 638-3) 사이를 스위칭하게 할 수 있다. 트리거의 예에는 모션 또는 모션 부재, 사용자의 출현 또는 사라짐, 사용자의 지정된 영역(예를 들어, 범위, 방위각 또는 고도로 정의된 영역)으로 또는 밖으로의 이동, 사용자와 관련된 모션의 속도 변화, 레이더 관리자(106)에 의해 결정된 연계 의도(예를 들어, 일부 연계 의도를 통한 "도달 범위(reach)"에는 얼굴 특징 추적과 같은 추가 전력이 필요함), 또는 (예를 들어, 레이더 단면적의 변화로 인한) 반사된 신호 강도의 변화를 포함한다. 일반적으로, UE(102)와 상호작용하는 사용자의 더 낮은 확률 또는 더 긴 응답 지연을 사용하여 데이터를 수집하는 선호를 나타내는 트리거는 레이더 전력 상태(638-1)가 전력을 절약하기 위해 활성화되도록 할 수 있다.
일반적으로, 전력 관리 모듈(620)은 전력이 절약될 수 있는 시기 및 방법을 결정하고, 전력 소비를 점진적으로 조정하여 레이더 시스템(104)이 UE(102)의 전력 제한 내에서 동작할 수 있도록 한다. 일부 경우, 전력 관리 모듈(620)은 남은 가용 전력의 양을 모니터링하고 그에 따라(예를 들어, 배터리 부족으로 인해) 레이더 시스템(104)의 동작들을 조정할 수 있다. 예를 들어, 남은 전력량이 낮으면, 전력 관리 모듈(620)은 레이더 전력 상태(638-2 또는 638-3) 중 하나로 스위칭하는 대신 레이더 전력 상태(638-1)에서 계속 동작할 수 있다.
각각의 전력 상태(638-1~638-3)는 특정 프레임 구조와 관련될 수 있다. 프레임 구조는 레이더 신호의 송수신과 관련된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로, 프레임 구조는 외부 환경에 기초하여 적절한 레이더 데이터가 수집될 수 있도록 설정된다. 프레임 구조는 상이한 애플리케이션(예를 들어, 근접 감지, 특징 인식 또는 제스처 인식)에 대한 상이한 유형의 레이더 데이터 수집을 용이하게 하도록 커스터마이즈될 수 있다. 프레임 구조의 각 레벨 전체에 걸쳐 비활성 시간 동안, 전력 관리 모듈(620)은 전력을 절약하기 위해 도 6b의 송수신기(606) 내의 구성요소를 턴오프할 수 있다. 예시 프레임 구조는 도 6d와 관련하여 추가로 설명된다.
도 6d는 예시적인 프레임 구조(642)를 도시한다. 도시된 구성에서, 프레임 구조(642)는 3가지의 상이한 유형의 프레임을 포함한다. 최상위 레벨에서, 프레임 구조(642)는 활성 상태 또는 비활성 상태에 있을 수 있는 제스처 프레임(644)의 시퀀스를 포함한다. 일반적으로, 활성 상태는 비활성 상태에 비해 더 많은 량의 전력을 소비한다. 중간 레벨에서, 프레임 구조(642)는 유사하게 활성 상태 또는 비활성 상태에 있을 수 있는 특징 프레임(FF)(646)의 시퀀스를 포함한다. 상이한 유형의 특징 프레임에는 펄스-모드 특징 프레임(648)(도 6d의 왼쪽 아래에 도시됨)과 버스트-모드 특징 프레임(650)(도 6d의 오른쪽 아래에 도시됨)을 포함한다. 하위 레벨에서, 프레임 구조(642)는 또한 활성 상태 또는 비활성 상태에 있을 수 있는 레이더 프레임(RF)(652)의 시퀀스를 포함한다.
레이더 시스템(104)은 활성 레이더 프레임(RF)(652) 동안 레이더 신호를 송수신한다. 일부 상황에서, 레이더 프레임(652)은 검색 및 추적, 클러터 맵 생성, 사용자 위치 결정 등과 같은 기본 레이더 동작을 위해 개별적으로 분석된다. 각각의 활성 레이더 프레임(652) 동안 수집된 레이더 데이터는 레이더 프레임(652)이 완료된 후 버퍼에 저장되거나 도 6a의 프로세서(608)로 직접 제공될 수 있다.
레이더 시스템(104)은 하나 이상의 제스처와 관련된 특정 특징을 식별하기 위해 다수의 레이더 프레임(652)에 걸쳐(예를 들어, 활성 특징 프레임(646)과 관련된 레이더 프레임(652)의 그룹에 걸쳐) 레이더 데이터를 분석한다. 특징의 예시적인 유형은 특정 유형의 모션, 특정 부속물(예를 들어, 손 또는 개별 손가락)와 관련된 모션, 및 제스처의 다른 부분과 관련된 특징을 포함한다. 활성 제스처 프레임(644) 동안 사용자(120)에 의해 수행된 제스처를 인식하기 위해, 레이더 시스템(104)은 하나 이상의 활성 특징 프레임(646)과 관련된 레이더 데이터를 분석한다.
제스처의 유형에 따라, 제스처 프레임(644)의 지속기간은 밀리초 또는 초 정도(예를 들어, 약 10ms와 10초 사이)일 수 있다. 활성 제스처 프레임(644)이 발생한 후, 레이더 시스템(104)은 비활성 제스처 프레임(644-3 및 644-4)에 의해 도시된 바와 같이 비활성이다. 비활성 제스처 프레임(644)의 지속기간은 수십 밀리초 이상(예를 들어, 50ms 초과) 정도일 수 있는 딥 슬립 시간(654)으로 특징지어진다. 예시적인 구현에서, 레이더 시스템(104)은 딥 슬립 시간(654) 동안 전력을 절약하기 위해 송수신기(606) 내의 모든 컴포넌트를 턴오프할 수 있다.
도시된 프레임 구조(642)에서, 각각의 제스처 프레임(644)은 K개의 특징 프레임(646)을 포함하고, 여기서 K는 양의 정수이다. 제스처 프레임(644)이 비활성 상태에 있으면, 해당 제스처 프레임(644)과 관련된 모든 특징 프레임(646)도 비활성 상태에 있다. 반면에, 활성 제스처 프레임(644)은 J개의 활성 특징 프레임(646) 및 K-J개의 비활성 특징 프레임(646)을 포함하며, 여기서 J는 K보다 작거나 같은 양의 정수이다. 특징 프레임(646)의 양은 제스처의 복잡도에 기초할 수 있고 수에서 수백 개의 특징 프레임(646)을 포함할 수 있다(예를 들어, K는 2, 10, 30, 60, 또는 100일 수 있음). 각각의 특징 프레임(646)의 지속기간은 밀리초 정도(예를 들어, 약 1ms와 50ms 사이)일 수 있다.
전력을 절약하기 위해, 활성 특징 프레임(646a 내지 646-J)은 비활성 특징 프레임(646-(J+1)~646-K) 이전에 발생한다. 비활성 특징 프레임(646-(J+1)~646-K)의 지속 시간은 슬립 시간(656)으로 특징지어진다. 이러한 방식으로, 비활성 특징 프레임(646-(J+1)~ 646-K)은 레이더 시스템(104)이 비활성 특징 프레임(646-(J+1)~ 646-K)을 활성 특징 프레임(46-1~646J)과 인터리브하는 다른 기술에 비해 더 긴 지속기간 동안 전원이 꺼진 상태에 있을 수 있도록 연속적으로 실행된다. 일반적으로 말하면, 슬립 시간(656)의 지속기간을 증가시키면 레이더 시스템(104)이 더 긴 시동 시간을 필요로 하는 송수신기(606) 내의 구성요소들을 턴오프할 수 있다.
각각의 특징 프레임(646)은 L 레이더 프레임(652)을 포함하며, 여기서 L은 J 또는 K와 같거나 같지 않을 수 있는 양의 정수이다. 일부 구현에서, 레이더 프레임(652)의 양은 상이한 특징 프레임(646)에 걸쳐 변할 수 있고 몇 개의 프레임 또는 수백 개의 프레임을 포함할 수 있다(예를 들어, L은 5, 15, 30, 100, 또는 500일 수 있음). 레이더 프레임(652)의 지속기간은 수십 또는 수천 마이크로초 정도(예를 들어, 약 30㎲~5ms)일 수 있다. 특정 특징 프레임(646) 내의 레이더 프레임(652)은 특정 특징 및 제스처의 검출을 용이하게 하는 사전 결정된 검출 범위, 범위 해상도, 또는 도플러 감도에 대해 커스터마이즈될 수 있다. 예를 들어, 레이더 프레임(652)은 특정 유형의 변조, 대역폭, 주파수, 송신 전력 또는 타이밍을 이용할 수 있다. 특징 프레임(646)이 비활성 상태에 있으면 해당 특징 프레임(646)과 관련된 모든 레이더 프레임(652)도 비활성 상태에 있다.
펄스-모드 특징 프레임(648) 및 버스트-모드 특징 프레임(650)은 레이더 프레임(652)의 상이한 시퀀스를 포함한다. 일반적으로 말하면, 활성 펄스-모드 특징 프레임(648) 내의 레이더 프레임(652)은 사전 결정된 양만큼 시간적으로 분리된 펄스를 전송한다. 반면에, 활성 버스트-모드 특징 프레임(650) 내의 레이더 프레임(652)은 버스트-모드 특징 프레임(650)의 일부에 걸쳐 연속적으로 펄스를 전송한다(예를 들어, 펄스들은 사전 결정된 양의 시간만큼 분리되지 않는다).
각각의 활성 펄스-모드 특징 프레임(648) 내에서, 레이더 프레임(652)의 시퀀스는 활성 상태와 비활성 상태 사이에서 교번한다. 각각의 활성 레이더 프레임(652)은 삼각형으로 도시된 레이더 신호(예를 들어, 처프(chirp))를 전송한다. 레이더 신호의 지속기간은 활성 시간(658)으로 특징지어진다. 활성 시간(658) 동안, 송수신기(606) 내의 구성요소들은 전원이 켜진다. 활성 레이더 프레임(652) 내의 남은 시간 및 다음 비활성 레이더 프레임(652)의 지속기간을 포함하는 짧은 유휴 시간(660) 동안, 레이더 시스템(104)은 짧은 유휴 시간(660)의 지속기간 내에서 시작 시간을 갖는 송수신기(606) 내의 구성요소들을 턴오프함으로써 전력을 절약한다.
활성 버스트-모드 특징 프레임(650)은 M개의 활성 레이더 프레임(652) 및 L-M개의 비활성 레이더 프레임(652)을 포함하며, 여기서 M은 L보다 작거나 같은 양의 정수이다. 전력을 절약하기 위해, 활성 레이더 프레임(652-1~652-M)은 비활성 레이더 프레임(652-(M+1)~652-L)보다 먼저 발생한다. 비활성 레이더 프레임(652-(M+1)~ 652-L)의 지속기간은 긴 유휴 시간(662)으로 특징지어진다. 비활성 레이더 프레임 652(M+1)~652-L)을 함께 그룹화함으로써, 레이더 시스템(104)은 펄스-모드 특징 프레임(648) 동안 발생하는 짧은 유휴 시간(660)에 비해 더 긴 지속기간 동안 전원이 꺼진 상태에 있을 수 있다. 추가적으로, 전력 관리 모듈(620)은 짧은 유휴 시간(660)보다 길고 긴 유휴 시간(662)보다 짧은 시동 시간을 갖는 송수신기(606) 내의 추가 구성요소들을 턴오프할 수 있다.
활성 버스트-모드 특징 프레임(650) 내의 각각의 활성 레이더 프레임(652)은 레이더 신호의 일부를 전송한다. 이 예에서, 활성 레이더 프레임(652-1~652M)은 주파수가 증가하는 레이더 신호의 일부와 주파수가 감소하는 레이더 신호의 일부를 전송하는 것 사이를 교번한다.
프레임 구조(642)는 각 프레임 유형 내에서 조정 가능한 듀티 사이클을 통해 전력이 절약될 수 있게 한다. 제1 듀티 사이클(664)은 특징 프레임(646(K))의 총량에 대한 활성 특징 프레임(646(J))의 양에 기초한다. 제2 듀티 사이클(665)은 레이더 프레임(652)(L)의 총량에 대한 활성 레이더 프레임(652)(예를 들어, L/2 또는 M)의 양에 기초한다. 제3 듀티 사이클(668)은 레이더 프레임(652)의 지속기간에 대한 레이더 신호의 지속기간에 기초한다.
약 2mW의 전력을 소비하고 약 1Hz와 4Hz 사이의 제스처 프레임 업데이트 속도(634)를 갖는 전력 상태(638-1)에 대한 예시적인 프레임 구조(642)를 고려한다. 이 예에서, 프레임 구조(642)는 약 250ms와 1초 사이의 지속기간을 갖는 제스처 프레임(644)을 포함한다. 제스처 프레임(644)은 31개의 펄스-모드 특징 프레임(648)(예를 들어, L은 31과 동일)을 포함한다. 31개의 펄스-모드 특징 프레임(648) 중 하나는 활성 상태에 있다. 이는 듀티 사이클(664)이 대략 3.2%와 동일하게 되는 결과를 가져온다. 각각의 펄스-모드 특징 프레임(648)의 지속기간은 약 8ms와 32ms 사이이다. 각 펄스 모드 특징 프레임(648)은 8개의 레이더 프레임(652)으로 구성된다. 활성 펄스-모드 특징 프레임(648) 내에서, 8개의 레이더 프레임(652) 모두는 활성 상태에 있다. 이것은 듀티 사이클(665)이 100%와 동일하게 되는 결과를 가져온다. 각각의 레이더 프레임(652)의 지속기간은 약 1ms와 4ms 사이이다. 각각의 활성 레이더 프레임(652) 내의 활성 시간(658)은 약 32㎲와 128㎲ 사이이다. 이와 같이, 결과적인 듀티 사이클(668)은 약 3.2%이다. 이 예시적인 프레임 구조(642)는 우수한 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 우수한 제스처 인식 및 존재 검출 측면에서 나타나는 동시에 저전력 상태(예를 들어, 저전력 상태(504-3))의 휴대용 스마트폰의 애플리케이션 컨텍스트에서 우수한 전력 효율성 결과를 제공한다.
프레임 구조(642)에 기초하여, 전력 관리 모듈(620)은 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이 비활성 시간 기간에 기초하여, 전력 관리 모듈(620)은 아래에서 추가로 설명되는 바와 같이 레이더 시스템(104)의 동작 상태를 조정하고 송수신기(606)의 하나 이상의 구성요소를 턴오프함으로써 전력을 절약할 수 있다.
언급된 바와 같이, 전력 관리 모듈(620)은 비활성 기간(time period) 동안 송수신기(606) 내의 하나 이상의 구성요소(예를 들어, 전압 제어 발진기, 멀티플렉서, 아날로그-디지털 변환기, 위상 잠금 루프 또는 수정 발진기)를 턴오프함으로써 전력을 보존할 수 있다. 이러한 비활성 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송하거나 수신하지 않는 경우 발생하며, 이는 마이크로초(μs), 밀리초(ms) 또는 초(s) 정도일 수 있다. 또한, 전력 관리 모듈(620)은 신호 증폭기에 의해 제공되는 증폭량을 조절함으로써 레이더 신호의 송신 전력을 수정할 수 있다. 추가적으로, 전력 관리 모듈(620)은 전력을 절약하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 구성요소들의 사용을 제어할 수 있다. 프로세서(608)가 저전력 프로세서 및 고전력 프로세서(예를 들어, 상이한 양의 메모리 및 계산 능력을 갖는 프로세서)를 포함하는 경우, 예를 들어, 전력 관리 모듈(620)은 저수준 분석(예를 들어, 모션 감지, 사용자 위치 결정 또는 환경 모니터링)을 위해 저전력 프로세서를 사용하고 고충실도 또는 정확한 레이더 데이터가 레이더 관리자(106)에 의해 요청되는 상황을 위해(예를 들어, 레이더 데이터를 사용하여 사용자를 인증하기 위한 인증 시스템(114)의 고전력 상태(504-1)를 구현하기 위해) 고전력 프로세서를 사용하는 것 사이에서 스위칭할 수 있다.
상술한 내부 절전 기술에 더하여, 전력 관리 모듈(620)은 또한 단독으로 또는 인증 시스템(114)의 명령에 따라 UE(102) 내에 있는 다른 외부 구성요소 또는 센서를 활성화 또는 비활성화함으로써 UE(102) 내의 전력을 절약할 수 있다. 이러한 외부 구성요소에는 스피커, 카메라 센서, GPS, 무선 통신 송수신기, 디스플레이, 자이로스코프 또는 가속도계가 포함될 수 있다. 레이더 시스템(104)은 적은 양의 전력을 사용하여 환경을 모니터링할 수 있기 때문에, 전원 관리 모듈(620)은 사용자가 있는 위치 또는 사용자가 하고 있는 것에 기초하여 이러한 외부 구성요소들을 턴온 또는 턴오프할 수 있다. 이러한 방식으로, UE(102)는 자동 차단 타이머를 사용하거나 사용자가 UE(102)를 물리적으로 터치하거나 구두로 제어하지 않고도 사용자에게 원활하게 응답하고 전력을 절약할 수 있다.
도 8은 UE(102) 내의 레이더 시스템(104)의 예시적인 구현(800)의 추가적인 세부 사항을 도시한다. 예(800)에서, 안테나 어레이(604)는 유리 커버 또는 외부 케이스와 같은 UE(102)의 외부 하우징 아래에 위치된다. 재료 특성에 따라 외부 하우징은 레이더 시스템(104)에 의해 송수신되는 레이더 신호를 감쇠 또는 왜곡하는 감쇠기(802)의 역할을 할 수 있다. 감쇠기(802)는 상이한 유형의 유리 또는 플라스틱을 포함할 수 있고, 이들 중 일부는 디스플레이 스크린, 외부 하우징 또는 UE(102)의 다른 구성요소 내에서 발견될 수 있고 대략 4와 10 사이의 유전 상수(예를 들어, 상대 유전율)를 가질 수 있다. 따라서, 감쇠기(802)는 레이더 신호(806)에 대해 불투명하거나 반투명하고, 송신 또는 수신된 레이더 신호(806)의 일부가 (반사된 부분(804)에 의해 도시된 바와 같이) 반사되게 할 수 있다. 기존 레이더의 경우, 감쇠기(802)는 모니터링될 수 있는 유효 범위를 감소시키거나, 작은 타겟이 탐지되는 것을 방지하거나, 전체 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 송신 전력이 제한되고 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(806)의 하나 이상의 감쇠 종속 특성(예를 들어, 주파수 서브 스펙트럼(808) 또는 조향 각도(810)) 또는 감쇠기(802)의 감쇠 종속 특성(예를 들어, 감쇠기(802)와 레이더 시스템(104) 사이의 거리(812) 또는 감쇠기(802)의 두께(814))은 감쇠기(802)의 영향을 완화하도록 조정된다. 이러한 특성 중 일부는 제조 중에 설정되거나 레이더 시스템(104)의 작동 중에 감쇠 완화기(614)에 의해 조정될 수 있다. 감쇠 완화기(614)는 예를 들어 송수신기(606)가 상기 선택된 주파수 서브-스펙트럼(808) 또는 조향 각도(810)를 사용하여 레이더 신호(806)를 전송하게 하고, 플랫폼이 거리(812)를 변경하기 위해 레이더 시스템(104)을 감쇠기(802)로부터 더 가깝게 또는 더 멀리 이동시키게 하거나 감쇠기(802)의 두께(814)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자를 프롬프트하게 할 수 있다.
적절한 조정은 감쇠기(802)의 사전 결정된 특성(예를 들어, UE(102)의 컴퓨터 판독가능 매체(404) 또는 시스템 매체(610) 내에 저장된 특성)에 기초하여 감쇠기(614)에 의해 이루어지거나 또는 감쇠기(802)의 하나 이상의 특성을 측정하기 위해 레이더 신호(806)의 반환(returns)을 처리함으로써 이루어질 수 있다. 감쇠 종속 특성들 중 일부가 고정되거나 제한되더라도, 감쇠 완화기(614)는 이러한 제한을 고려하여 각 파라미터의 균형을 맞추고 목표 레이더 성능을 달성할 수 있다. 결과적으로, 감쇠 완화기(614)는 레이더 시스템(104)이 감쇠기(802)의 반대편에 위치한 사용자를 탐지하고 추적하기 위해 향상된 정확도와 더 큰 유효 범위를 실현할 수 있도록 한다. 이러한 기술은 레이더 시스템(104)의 전력 소비를 증가시키는 송신 전력 증가 또는 디바이스가 일단 생산되면 어렵고 비용이 많이 들 수 있는 감쇠기(802)의 재료 특성 변경에 대한 대안을 제공한다.
도 9는 레이더 시스템(104)에 의해 구현되는 예시적인 방식(scheme)(900)을 도시한다. 방식(900)의 일부는 프로세서(608), 컴퓨터 프로세서들(402) 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 방식(900)은 상이한 유형의 전자 디바이스 및 레이더 기반 애플리케이션(예를 들어, 레이더 관리자(106))을 지원하도록 맞춤화될 수 있으며, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 목표 각도 정확도를 달성할 수 있게 한다.
송수신기(606)는 수신된 레이더 신호에 대한 수신 안테나 소자들(702)의 개별 응답에 기초하여 원시 데이터(902)를 생성한다. 수신된 레이더 신호는 각도 모호성 해상도를 용이하게 하기 위해 각도 추정기(618)에 의해 선택된 하나 이상의 주파수 서브-스펙트럼(904)과 연관될 수 있다. 예를 들어, 주파수 서브-스펙트럼(904)은 사이드로브(sidelobes)의 양을 감소시키거나 사이드로브의 진폭을 감소(예를 들어, 진폭을 0.5dB, 1dB, 또는 그 이상만큼 감소)시키도록 선택될 수 있다. 주파수 서브스펙트럼의 양은 레이더 시스템(104)의 목표 각도 정확도 또는 계산 제한에 기초하여 결정될 수 있다.
원시 데이터(902)는 일정 시간 기간 동안의 디지털 정보(예를 들어, 동위상 및 직교 데이터), 상이한 파수(wavenumbers), 및 수신 안테나 소자(702)와 각각 연관된 다중 채널을 포함한다. 고속 푸리에 변환(FFT)(906)은 원시 데이터(902)에 대해 수행되어 전처리된(pre-processed) 데이터(908)를 생성한다. 전처리된 데이터(908)는 상이한 범위(예를 들어, 범위 빈에 대해, 시간 간에 걸쳐 다중 채널에 대한 디지털 정보를 포함한다. 도플러 필터링 프로세스(910)는 전처리된 데이터(908)에 대해 수행되어 범위-도플러 데이터(912)를 생성한다. 도플러 필터링 프로세스(910)는 다중 범위 빈(bins), 다중 도플러 주파수 및 다중 채널에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔형성기(616)는 레이지-도플러 데이터(912)에 기초하여 빔형성 데이터(914)를 생성한다. 빔형성 데이터(914)는 방위각 및/또는 고도 세트에 대한 디지털 정보를 포함하는데, 이는 디지털 빔형성기(616)에 의해 다른 조향 각도 또는 빔이 형성되는 시야를 나타낸다. 도시되지는 않았지만, 디지털 빔형성기(616)는 전처리된 데이터(908)에 기초하여 빔형성 데이터(914)를 대안적으로 생성할 수 있고, 도플러 필터링 프로세스(910)는 빔형성 데이터(914)에 기초하여 범위-도플러 데이터(912)를 생성할 수 있다. 계산량을 줄이기 위해, 디지털 빔형성기(616)는 범위, 시간, 또는 관심 도플러 주파수 간격에 기초하여 범위-도플러 데이터(912) 또는 전처리된 데이터(908)의 일부를 처리할 수 있다.
디지털 빔형성기(616)는 싱글-룩(look) 빔형성기(916), 멀티-룩 간섭계(918) 또는 멀티-룩 빔형성기(920)를 사용하여 구현될 수 있다. 일반적으로, 싱글-룩 빔형성기(916)는 결정적(deterministic) 객체(예를 들어, 단일 위상 중심을 갖는 포인트-소스 타겟)에 사용될 수 있다. 비결정적 타겟(예를 들어, 다중 위상 중심을 갖는 타겟)의 경우, 멀티-룩 간섭계(918) 또는 멀티-룩 빔형성기(920)는 싱글-룩 빔형성기(916)에 대한 정확도를 개선하는데 사용된다. 인간은 비결정적 타겟의 예이며 924-1 및 924-2에 도시된 바와 같이 상이한 종횡각에 기초하여 변할 수 있는 다중 위상 중심(922)을 갖는다. 다중 위상 중심(922)에 의해 생성된 보강 또는 상쇄 간섭의 변화는 기존 레이더 시스템이 각도 위치를 정확하게 결정하는 것을 어렵게 만들 수 있다. 그러나, 멀티-룩 간섭계(918) 또는 멀티-룩 빔형성기(920)는 빔형성 데이터(914)의 정확도를 높이기 위해 코히어런트(일관된) 평균을 수행한다. 멀티-룩 간섭계(918)는 2개의 채널을 일관성 있게 평균화하여 각도 정보를 정확하게 결정하는데 사용될 수 있는 위상 정보를 생성한다. 반면에 멀티-룩 빔형성기(920)는 푸리에, 카폰(capon), 다중 신호 분류(MUSIC) 또는 최소 분산 왜곡 없는 응답(MVDR)과 같은 선형 또는 비선형 빔형성기를 사용하여 2개 이상의 채널을 일관성 있게 평균화할 수 있다. 멀티-룩 빔형성기(920) 또는 멀티-룩 간섭계(918)를 통해 제공되는 증가된 정확도는 레이더 시스템(104)이 작은 제스처를 인식하거나 사용자의 여러 부분(예를 들어, 얼굴 특징들)을 구별할 수 있게 한다.
각도 추정기(618)는 빔형성 데이터(914)를 분석하여 하나 이상의 각도 위치를 추정한다. 각도 추정기(618)는 신호 처리 기술, 패턴 매칭 기술 또는 기계 학습을 이용할 수 있다. 각도 추정기(618)는 또한 레이더 시스템(104)의 설계 또는 레이더 시스템(104)이 모니터링하는 시야로부터 야기될 수 있는 각도 모호성을 해결한다. 예시적인 각도 모호성이 진폭 플롯(926)(예를 들어, 진폭 응답) 내에 도시되어 있다.
진폭 플롯(926)은 타겟의 상이한 각도 위치 및 상이한 조향 각도(810)에 대해 발생할 수 있는 진폭 차이를 도시한다. 제1 진폭 응답(928-1)(실선으로 도시됨)은 제1 각도 위치(930-1)에 위치한 타겟에 대해 도시된다. 유사하게, 제2 진폭 응답(928-2)(점선으로 도시됨)은 제2 각도 위치(930-2)에 위치된 타겟에 대해 도시된다. 이 예에서, 차이는 -180도에서 180도 사이의 각도에서 고려된다.
진폭 플롯(926)에 도시된 바와 같이, 2개의 각도 위치(930-1 및 930-2)에 대해 모호한 영역이 존재한다. 제1 진폭 응답(928-1)은 제1 각도 위치(930-1)에서 가장 높은 피크를 갖고 제2 각도 위치(930-2)에서 더 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 위치에 해당하지만, 더 작은 피크는 타겟이 제1 각도 위치(930-1)에 있는지 또는 제2 각도 위치(930-2)에 있는지 여부를 기존의 레이더가 자신 있게 결정할 수 없는 일부 임계값 내에 있기 때문에 제1 각도 위치(930-1)가 모호하게 되도록 만든다. 이와 달리, 제2 진폭 응답(928-2)은 제2 각도 위치(930-2)에서 더 작은 피크를 갖고 제1 각도 위치(930-1)에서 더 높은 피크를 갖는다. 이 경우, 더 작은 피크가 타겟의 위치에 해당한다.
종래의 레이더는 각도 위치를 결정하기 위해 가장 높은 피크 진폭을 사용하는 것으로 제한될 수 있지만, 각도 추정기(618)는 대신 진폭 응답(928-1, 928-2)의 형상에서 미묘한 차이를 분석한다. 형상의 특성은 예를 들어 롤오프(roll-offs), 피크 또는 널 폭, 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드로브의 형상, 진폭 응답(928-1 또는 928-2) 내의 대칭, 또는 진폭 응답(928-1 또는 928-2) 내의 대칭 부재를 포함할 수 있다. 유사한 형상 특성이 위상 응답에서 분석될 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서 각도 추정기(618)는 고유한 각도 서명 또는 패턴을 각도 위치에 매핑한다.
각도 추정기(618)는 UE(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 레이더 관리자(106)의 목표 각도 해상도에 따라 선택될 수 있는 알고리즘 또는 툴 세트를 포함할 수 있다. 일부 구현에서, 각도 추정기(618)는 신경망(932), 컨볼루션 신경망(CNN)(934) 또는 장단기 기억(LSTM) 네트워크(936)를 포함할 수 있다. 신경망(932)은 다양한 깊이 또는 수양의 은닉 계층(예를 들어, 3개의 은닉 계층, 5개의 은닉 계층, 또는 10개의 은닉 계층)을 가질 수 있고, 또한 상이한 양의 연결을 포함할 수 있다(예를 들어, 신경망(932)은 완전 연결 신경망 또는 부분적으로 연결된 신경망을 포함할 수 있음). 일부 경우, CNN(934)은 각도 추정기(618)의 계산 속도를 증가시키기 위해 사용될 수 있다. LSTM 네트워크(936)는 각도 추정기(618)가 타겟을 추적하는 것을 가능하게 하기 위해 사용될 수 있다. 기계 학습 기술을 사용하여, 각도 추정기(618)는 비선형 함수를 사용하여 진폭 응답(928-1 또는 928-2)의 형상을 분석하고 사용자 또는 사용자의 일부가 각도 빈 내에 있을 가능성을 나타내는 각도 확률 데이터(938)를 생성한다. 각도 추정기(618)는 타겟이 UE(102)의 왼쪽 또는 오른쪽에 있을 확률을 제공하기 위해 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 각도 확률 데이터(938)를 제공하거나 (예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(938)를 제공하기 위해) 수천 개의 각도 빈에 대한 각도 확률 데이터(938)를 제공할 수 있다.
각도 확률 데이터(938)에 기초하여, 추적기 모듈(940)은 타겟의 각도 위치를 식별하는 각도 위치 데이터(942)를 생성한다. 추적기 모듈(940)은 각도 확률 데이터(938)에서 가장 높은 확률을 갖는 각도 빈에 기초하거나 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(940)은 또한 레이더 시스템(104)이 타겟을 확실하게 구별하거나 식별할 수 있게 하기 위해 하나 이상의 움직이는 타겟을 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 비롯한 다른 데이터가 각도 위치의 결정에 사용될 수 있다. 일부 경우, 추적기 모듈(940)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT) 등을 포함할 수 있다.
양자화기 모듈(944)은 각도 위치 데이터(942)를 획득하고 그 데이터를 양자화하여 양자화된 각도 위치 데이터(946)를 생성한다. 양자화는 레이더 관리자(106)에 대한 목표 각도 해상도에 기초하여 수행될 수 있다. 일부 컨텍스트에서, 양자화된 각도 위치 데이터(946)가 타겟이 UE(102)의 오른쪽에 있는지 왼쪽에 있는지 여부를 나타내거나 그 타겟이 위치하는 90도 사분면을 식별하도록 더 적은 양자화 레벨이 사용될 수 있다. 이것은 사용자 근접 감지와 같은 일부 레이더 기반 애플리케이션에 충분할 수 있다. 다른 컨텍스트에서, 양자화된 각도 위치 데이터(946)가 1도, 5도 등의 일부 각도의 정확도 내에서 타겟의 각도 위치를 나타내도록 더 많은 수의 양자화 레벨이 사용될 수 있다. 이 분해능은 제스처 인식과 같은 고해상도 레이더 기반 애플리케이션에 사용되거나 본 명세서에 설명된 주의(attention) 상태 또는 상호 작용 상태의 구현에 사용될 수 있다. 일부 구현에서, 디지털 빔형성기(616), 각도 추정기(618), 추적기 모듈(940) 및 양자화기 모듈(944)은 단일 기계 학습 모듈에서 함께 구현된다.
레이더가 연계, 연계 해제 또는 연계 유지하려는 사용자의 의도를 결정하는데 사용되는 구현을 포함하고 레이더가 전자 디바이스와 상호작용하거나 연계하려는 사용자 의도의 표시로서 분류되는 사용자 액션을 감지하는데 사용되는 구현을 더 포함하는 설명된 구현의 장점 중에서, 대부분의 최신 스마트폰과 함께 제공되는 온-디바이스 카메라를 사용하여 대안적으로 달성할 수 있는 두 가지 중 하나는 레이더 시스템의 전력 사용량이 카메라 시스템의 전력 사용량보다 훨씬 적지만 결과의 적합성은 종종 카메라 시스템보다 레이더 시스템이 더 좋을 수 있다는 것이다. 예를 들어, 위에서 설명한 레이더 시스템을 사용하는 경우, 결정을 내리기 위해 레이더 벡터 데이터를 처리하기 위한 처리 전력을 포함하여 한 자리 밀리와트에서 수십 밀리와트(예를 들어, 10mW, 20mW, 30mW 또는 40mW)범위의 평균 전력에서 원하는 사용자 의도 감지가 달성될 수 있다. 이러한 하위 레벨의 전력에서, 레이더 시스템(104)이 항상 활성화되도록 하는 것은 쉽게 수용될 수 있다. 이와 같이, 예를 들어 상시 활성화된 상태에 있는 스마트폰 레이더 시스템을 사용하여, 여러 시간 동안 스마트폰과 함께 방 건너편에 앉아 있는 사용자에게 현재 설명된 원하는 즐겁고 원활한 경험을 여전히 제공할 수 있다.
이에 반해, 오늘날의 대부분의 스마트폰에 제공되는 광학 카메라는 일반적으로 수백 밀리와트의 전력(예를 들어, 400mW인 40mW보다 10배 이상 높은 전력)에서 동작한다. 이러한 전력 비율에서, 광학 카메라는 오늘날 대부분의 스마트폰의 배터리 수명을 크게 줄여 광학 카메라를 상시-온 상태로 유지하는 것이 금지는 아니지만 매우 비실용적이기 때문에 불리할 것이다. 레이더 시스템의 추가 장점은 시야가 상당히 커서 사용자가 테이블에 얼굴을 위로 하여 평평하게 누웠을 때 어떤 방향에서든 사용자가 걸어오는 것을 쉽게 감지할 수 있다는 점(레이더 칩이 셀카 카메라와 동일한 일반적인 방향으로 바깥쪽을 향하고 있는 많은 일반적인 구현의 경우), 또한 도플러 처리 능력 덕분에 다양한 방향에서 움직이는 신체의 상대적으로 미묘한 움직임까지도 감지하는데(특히 60GHz에 가까운 작동 주파수에서) 매우 효과적일 수 있다는 점이다.
또한, 레이더 시스템은 카메라 시스템의 성능이 저하되거나 제한되는 환경에서 작동할 수 있다. 예를 들어, 저조도 환경에서, 카메라 시스템은 형상이나 움직임을 감지하는 능력이 떨어질 수 있다. 이에 반해, 레이더 시스템은 전체(full) 조명뿐만 아니라 저조도에서도 잘 동작한다. 레이더 시스템은 또한 일부 장애물을 통해 존재 및 제스처를 감지할 수 있다. 예를 들어, 스마트폰이 주머니, 재킷 또는 바지안에 있는 경우 카메라 시스템은 사용자나 제스처를 감지할 수 없다. 그러나, 레이더 시스템은 카메라 시스템을 차단하는 천(fabric)을 통해서도 여전히 자신의 시야내의 객체들을 여전히 감지할 수 있다. 스마트폰의 온보드 비디오 카메라 시스템에 비해 레이더 시스템을 사용하는 것의 또 다른 장점은 프라이버시인데, 그 이유는 사용자가 본 명세서에 설명된 즐겁고 원활한 경험의 이점을 가질 수 있는 동시에 그러한 목적을 위해 비디오를 촬영하는 비디오 카메라가 있는지 걱정할 필요가 없기 때문이다.
도 1, 도 2, 도 4 및 도 6 내지 도 9의 엔티티는 추가로 분할, 결합, 다른 센서 또는 구성요소 등과 함께 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 센서(108)의 상이한 구성을 갖는 UE(102)의 상이한 구현은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 통해 레이더 기반 제스처 인식을 구현하는데 사용될 수 있다. 도 1의 예시적인 동작 환경(100) 및 도 2 내지 도 9의 상세한 예시는 설명된 기술을 사용할 수 있는 많은 가능한 환경 및 디바이스의 일부를 도시한다.
예시적인 방법
이 섹션은 개별적으로 또는 전체적으로 또는 부분적으로 함께 작동할 수 있는 예시적인 방법을 설명한다. 다양한 예시 방법이 설명되어 있으며, 각각은 읽기 쉽도록 하위 섹션에 설명되어 있다. 이 하위 섹션 제목은 이러한 각 방법의 상호 운용성을 제한하기 위한 것이 아니다.
인증 관리
도 10은 IMU 및 레이더를 통해 인증을 관리하기 위한 예시적인 방법(1000)을 도시하고 사용자 장비에 대한 전력 상태를 관리하는 일 예이다. 방법(1000)은 수행되는 동작들을 지정하는 블록 세트로 도시되지만 반드시 개별 블록에 의한 동작을 수행하기 위해 도시된 순서 또는 조합으로 제한되지는 않는다. 또한, 하나 이상의 동작은 반복, 결합, 재구성 또는 링크되어 다양한 추가 및/또는 대체 방법을 제공할 수 있다. 다음 논의의 일부에서, 도 1의 예시적인 동작 환경(100) 또는 다른 도면에 상세히 기술된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예로서만 참조된다. 이 기술은 하나의 디바이스에서 작동하는 하나의 엔터티 또는 다중 엔터티의 성능으로 제한되지 않는다.
1002에서, 사용자의 연계 의도는 레이더 데이터에 기초하여 사용자 장비에 의해 결정되며, 연계 의도는 사용자가 사용자 장비와 연계할 의사가 있음을 나타낸다. 위에서 언급한 바와 같이, 연계 의도는 3가지의 예를 들자면 사용자(120)가 UE(102)를 향해 손을 뻗고 있거나, UE(102)를 바라보고 있거나, UE(102)를 향하여 자신의 몸을 기울이거나 지향하고 있다고 결정함으로써 표시될 수 있다.
1004에서, 레이더 데이터를 통한 연계 의도의 결정 대신에 또는 추가하여, 장비의 움직임이 관성 데이터에 기초하여 결정된다. 이 움직임은 사용자(120)가 UE(102)를 집어 드는 것(picking up), UE(102)를 터치하는 것 및 위에서 언급된 바와 같은 다른 움직임을 나타낼 수 있다.
1006에서, 연계 의도의 결정 및 일부 경우에 사용자 장비의 움직임의 결정에 응답하여, 인증 시스템의 전력 소비 구성요소의 전력 상태가 변경된다. 전력 소비 구성요소의 전력 상태는 제1 전력 상태에서 제2 전력 상태로 변경되고, 제2 전력 상태는 제1 전력 상태보다 더 큰 전력을 소비한다. 이 변경은 레이더 데이터를 사용하여 결정된 연계 의도 또는 관성 데이터를 통해 결정된 움직임을 통해서만 결정될 수 있다. 또한, 전력 소비 구성요소 또는 다른 전력 구성요소의 전력 상태는 움직임 결정에 기초하여 더 상승될 수 있다. 위에서 언급한 바와 같이, 이러한 움직임 결정은 사용자(120)의 연계 의도를 확인하거나, 연계 의도를 제공하거나, 그렇지 않으면 인증 시스템에 전력, 리소스 등을 추가하려는 결정에 속도 및/또는 견고성을 추가할 수 있다. 일부 경우에 인증 시스템의 구성요소들은 사용자가 연계할 의도가 없다고 결정된 경우에도 전원이 공급된 상태로 유지된다는 점에 유의한다. 그러한 경우, 기술은 결정된 연계 의도에 응답하여 인증 프로세스를 수행하도록 작동한다. 이러한 경우 해당 프로세스에 대한 전력이 절약되지 않더라도 레이턴시(대기 시간)가 감소된다. 그러나, 이 기술은 인증 시스템과 관련되지 않은 리소스를 사용하지 않고 다른 방식으로 전력을 절약할 수 있다.
인증 시스템의 전력 소비 구성요소가 변경된 전원 상태는 인증 시스템이 사용자에 대한 인증 프로세스를 수행할 수 있게 하기에 충분할 수도 있고 충분하지 않을 수도 있다. 일부 경우, 전력 소비 구성요소의 제2 전력 상태는 고전력 상태(504-1)가 아니다. 그러한 경우에, 제2 전력 상태는 위에서 언급된 바와 같이 중간 전력 상태(504-2)이다. 이 중간 전원 상태(504-2)는 일부 경우에 전원을 완전히 켜지 않고도 인증을 위한 센서 데이터를 여전히 제공할 수 있는 중간 전원 상태를 포함하는 카메라(예를 들어, 어두운 곳이 아닌 밝은 곳에서 사용자의 이미지를 캡처)와 같은 전원 소비 구성요소의 성능에 충분하다. 다른 예는 디스플레이(116)인데, 이는 디스플레이의 광도를 최대 전력으로 공급하지 않고도 비밀번호에 대한 터치 입력을 수락하도록 전력을 공급받을 수 있다. 다른 경우는 레이더 시스템(104)을 포함하는데, 여기서는 레이더 시스템(104)에 대한 사용자 얼굴의 상당히 가까운 범위에서 인증 시스템(114)에 충분히 정확한 얼굴 특징을 제공하기 위해 최대 전력이 필요하지 않다.
일부 경우, 구성요소의 전원을 켜는 것은 구성요소를 준비하거나 구성요소에 추가 시간을 제공함으로써 레이턴시를 감소시킬 수 있는 워밍업 시퀀스와 같은 중간 단계이다. 그러한 경우에, 상태 관리자(112)는 구성요소가 인증할 준비가 되기 전에 연계 해제 의도가 결정되면, 사용자(120)가 UE(102)를 (예를 들어, 주머니속으로) 이동시켜 인증을 방지하는 것과 같이 고전력으로 진행하지 않기로 결정할 수 있다. 일부 경우, 전원 공급은 1004에 도시된 바와 같이 사용자(120)가 UE(102)를 이동시켰다는 결정에 응답하여 완전히 전원이 공급되는 중간 단계이며, 따라서 인증 프로세스를 수행하기에 충분한 전원이다. 이 워밍업 시퀀스는 구성요소에 중간 전원 상태(504-2)로 전원을 공급하고 잠시 후 구성요소에는 인증 프로세스에 사용하기에 충분한 전원이 공급된다(예를 들어, 고전력 상태(504-2)). 이러한 경우, 구성요소는 워밍업 시퀀스에 이어지는 워밍업 후 시퀀스에 있는 동안 고전력(또는 거의 그 정도)에 있다. 필요하지 않을 때 켜져 있으면 상당한 전력을 소비하지만 일부 적외선 또는 근적외선(IR, NIR) 센서와 같이 전원을 켜는데 상당한 시간이 필요한 구성요소의 경우, 워밍업 시퀀스가 수행되는 중간 전력 상태는 상당한 전력을 절약하거나 눈에 띄고 잠재적으로 사용자 경험에 피해를 줄 수 있는 레이턴시를 줄일 수 있다.
인증 시스템의 전력 소비 구성요소의 예는 도 1의 인증 시스템(114)의 얼굴 잠금해제 센서(212), 디스플레이(116)의 터치스크린, 레이더 시스템(104) 및 프로세서(608)(예를 들어, 고전력 프로세서(608-2))와 같이 위에서 설명되었다. 인증을 위한 얼굴 인식 시스템의 많은 잠재적 전력 소비 구성요소에 대한 구체적인 세부 사항은 도 2 및 그의 설명을 참조한다.
1008에서, 인증 프로세스가 인증 시스템에 의해 수행된다. 이 과정에서, 인증 시스템(114)은 제2 전력 상태 또는 제3의 더 높은 전력 상태와 같은 변경된 전력 상태에서 전력 소비 구성요소를 사용한다. 인증 프로세스는 사용자를 인증하거나 사용자가 인증되지 않음을 결정하는데 효과적이며, 이는 UE(102)에 대한 액세스가 허용되지 않아야 함을 나타낸다. 언급된 바와 같이, 인증 프로세스는 얼굴 인식, 지문 판독, 패스워드 또는 터치 또는 오디오 인터페이스(예를 들어, 디스플레이(112)의 터치 스크린 데이터 입력 구성요소)를 통한 다른 자격 증명(크리덴셜)을 통해 할 수 있다. 인증 프로세스는 사용자 또는 자격 증명의 식별 특징을 일부 보안 저장소의 비교 가능한 특징 또는 자격 증명과 비교하여 사용자의 신원이 인증된 것으로 결정하고 이에 따라 UE(102)에 대한 액세스가 허용된다. 이것은 디스플레이의 터치 스크린을 통해 입력된 6자리 패스워드를 비교하는 것만큼 간단할 수도 있고, 전력 소비 구성요소로부터 수신된 센서 데이터에 기초하여 얼굴 특징을 결정하고 결정된 얼굴 특징을 얼굴 특징 라이브러리와 비교하는 것과 같이 더 큰 계산 및 시스템 복잡성이 필요할 수 있다. 필수는 아니지만, 이 얼굴 특징 라이브러리는 UE(102)에 로컬로 저장될 수 있고 인증 시스템(114)을 사용하여 UE(102)에 의한 얼굴 특징 초기화 동안 생성될 수 있다. 더욱이, 이 라이브러리는 UE(102)와 통합된 보안 칩 상의 임베딩 형태와 같이 UE(102)에 안전하게 저장될 수 있다. 이것은 사용자(120)의 프라이버시가 유지될 수 있는 한 방법이다.
본 개시 전반에 걸쳐 컴퓨팅 시스템(예를 들어, UE(102), 클라이언트 디바이스, 서버 디바이스, 컴퓨터, 또는 다른 유형의 컴퓨팅 시스템)이 동작(1008)에서 방금 언급한 얼굴 특징들과 같은 사용자와 관련된 정보(예를 들어, 레이더, 관성 및 얼굴 인식 센서 데이터)를 분석할 수 있다. 그러나 컴퓨팅 시스템은 컴퓨팅 시스템이 데이터를 사용하기 위해 컴퓨팅 시스템의 사용자로부터 명시적 허가를 받은 후에만 정보를 사용하도록 구성될 수 있다. 예를 들어, UE(102)가 사용자(102)를 인증하기 위해 얼굴 특징들에 대한 센서 데이터를 분석하는 상황에서, 개별 사용자에게는 UE(102)의 프로그램 또는 기능이 데이터를 수집하고 사용할 수 있는지 여부를 제어하기 위한 입력을 제공할 기회가 제공될 수 있다. 개별 사용자는 프로그램이 센서 데이터로 수행할 수 있는 작업과 수행할 수 없는 작업을 지속적으로 제어할 수 있다. 또한 수집된 정보는 개인 식별 정보가 제거되도록 전송, 저장 또는 사용되기 전에 하나 이상의 방식으로 사전 처리될 수 있다. 예를 들어, UE(102)가 다른 디바이스와 센서 데이터를 공유하기 전에(예를 들어, 다른 디바이스에서 실행되는 모델을 트레이닝시키기 위해), UE(102)는 데이터에 임베딩된 임의의 사용자 식별 정보 또는 디바이스 식별 정보가 제거되는 것을 보장하기 위해 센서 데이터를 사전 처리할 수 있다. 따라서, 사용자는 사용자 및 사용자의 디바이스에 대한 정보가 수집되는지 여부와 이러한 정보가 수집되는 경우 컴퓨팅 디바이스 및/또는 원격 컴퓨팅 시스템에서 사용되는 방법을 제어할 수 있다.
방법(1000)으로 돌아가서, 1010에서, 대안적으로 또는 추가로, 디스플레이의 전력 상태는 사용자 장비가 이동했거나 이동하고 있다는 결정에 응답하여 변경된다. 이러한 변경은 디스플레이의 터치 입력 수신 기능을 켜거나 단순히 디스플레이의 시각적 표현을 변경하는 것일 수 있다. 하나의 예는 디스플레이(116)에 광도를 추가하는 것을 포함하여, 사용자가 UE(102)를 터치하는 경우, 사용자는 UE(102)가 사용자의 의도를 인식하고 따라서 아마도 사용자(120)와 연계할 준비를 하고 있다는 것을 알게 된다. 유사하게, UE(102)는 1002에서 결정된 연계 의도에 응답하여 그렇게 할 수 있다.
일부 경우에는, 인증 프로세스는 일정 기간 동안 수행하거나 성공없이 (예를 들어, 일부 미리 설정된 횟수 또는 기간) 반복된다. 그러한 경우에, 방법(1000)은 인증 프로세스를 재수행함으로써 계속하거나 1012에 도시된 바와 같이 1004에서의 움직임의 결정에 응답하여 프로세스를 계속할 수 있다. 이 대안은 도 10에서 일부 점선 화살표로 도시된다 .
1014에서, 1008에서의 사용자의 인증 프로세스(또는 1012에서의 재수행)가 성공한 것에 응답하여, 사용자가 인증되고 UE(102)의 액세스 상태가 변경된다. 이러한 변경은 낮은 상태, 무(no)상태 또는 중간 액세스 상태에서 높은 액세스 상태로의 UE(102)의 액세스를 증가시킬 수 있고, 이러한 경우에, UE(102)는 "잠금 해제"된다. 그러나 이러한 높은 액세스 상태(예를 들어, 도 5의 상위 액세스 상태(502-1))는 필수는 아니다. 일부 인증 레벨은 후속 인증을 위해 액세스, 전력 또는 정보를 유보할 수 있다. 예로는 UE(102)의 애플리케이션 및/또는 계정(예를 들어, 음악을 구매하기 위한 계정, 은행 계정 등)의 전부가 아닌 일부의 사용을 위해 사용자를 인증하는 것, 이러한 유보된 액세스 계정 및 애플리케이션에 대한 추가 인증을 요구하는 것이 포함된다. 예를 들어, 상위 액세스 상태(502-1)에 추가하여, 상태 관리자(112)는 UE(102)가 상위 정보 상태(506a)에 놓이게 할 수 있다. 정보 상태에 대한 이러한 변경의 예로는 웹페이지상의 10페이지 짜리 기사 중 4페이지, 또는 사용자(120)가 마지막으로 UE(102)와 연계하거나 인증한 곳을 재생하는 노래 또는 비디오의 중간과 같이, 마지막으로 연계한 부분을 포함하여 마지막으로 연계한 애플리케이션 또는 웹페이지를 제시하는 것이 포함된다. 상태 관리자(112)는 사용자(120)의 인증에 응답하여 이러한 상태를 빠르고 원활하게 변경할 수 있다.
예로서, 도 11에 도시된 시나리오(1100)에 대한 방법(1000)의 적용의 일 실시예를 고려한다. 시나리오(1100)는 5개의 부분을 포함하며, 각 부분은 이전 부분에 시간순으로 뒤따른다. 시나리오 부분(1100-1)에 도시된 시나리오(1100)의 제1 부분에서, 사용자(1102)는 스마트폰(1104)을 보고 있거나, 터치하고 있거나, 이와 연계하지 않는다. 여기에서 스마트폰(1104)이 각각 하위 액세스, 저전력 및 하위 정보 상태(501-3, 504-3, 506c)에 있다고 가정한다(예를 들어, 스마트폰(1104)은 꺼져 있는 것처럼 보이지만 연계 의도를 결정하기에 충분한 전력을 가지고 있음). 이 시나리오 부분(1100-1)은 도 10의 1002에서 방법의 동작 이전의 상황으로 가정된다. 사용자(1102)가 스마트폰(1104)으로 지향하고 그것을 바라보지만 터치하지는 않는 제2 부분이 1100-2에 도시되어 있다. 이 시점에서, 기술은 동작(1002)에서 레이더 데이터에 기초하여 사용자(1102)가 스마트폰(1104)과 연계할 의도가 있다고 결정한다. 이러한 연계 의도는 손을 뻗는(reach) 움직임을 사용하지 않고 결정되지만 대신 사용자(1102)가 스마트폰(1104)을 바라보고 자신의 몸을 지향하는 것에 기초한다. 기술은 동작 1002에서 레이더 관리자(106)를 통해 이러한 결정을 하고, 그 결정을 상태 관리자(112)에게 전달한다. 그 후, 상태 관리자(112)는 동작(1006)에서 인증 시스템(114)의 전력 소비 구성요소(얼굴 잠금 해제 센서(212))의 전원 상태를 변경한다. 이것은 사용자가 스마트폰(1104)을 향해 손을 뻗거나 집기들기 훨씬 전에 수행되어 대기 시간을 줄이고 인증 시스템(114)이 사용자를 인증할 준비가 되도록 한다는 점에 주목한다.
또한, 다음 0.5초에 걸쳐 전력 소비 구성요소의 전원이 켜지는 동안 사용자(1102)가 스마트폰(1104)에 더 가까이 이동하고 이를 향해 손을 뻗는다고(도달한다고) 가정한다(손(1106)으로 표시된 도달 범위). 이것은 제3 부분(1100-3)에 도시되어 있다. 이 시점에서 인증 시스템(114)은 인증 프로세스(동작 1008)를 수행하지만 인증 프로세스가 몇 번의 반복 및/또는 일정 기간 동안 성공적이지 않다고 가정한다. 기술은 사용자(1102)를 인증하려는 시도를 중단할 수 있으며, 이에 따라 전력을 절약할 수 있다. 그러나, 여기에서 부분 1100-4에 도시된 바와 같이, 사용자(1102)는 스마트폰(1104)을 터치한다. 이것은 동작(1004)에서 도 1의 센서들(108)에 의해 감지된 관성 데이터를 통해 스마트폰(1104)의 움직임인 것으로 결정된다. 이 움직임 결정은 상태 관리자(112)로 전달된다. 이 움직임에 기초하여, 상태 관리자(112)는 방법(1000)의 동작(1012)으로 도시된 바와 같이 인증 시스템(114)이 사용자(1102)를 인증하기 위한 시도를 계속하게 한다. 또한, 동작 1010에서, 그리고 또한 움직임에 기초하여, 상태 관리자(112)는 스마트폰(1104)의 디스플레이(1108)를 조명한다. 이 조명 또는 디스플레이(1108)의 전원 켜기는 시나리오 부분(1100-2, 1100-3 또는 11004)에서 수행될 수 있지만, 여기에서는 스마트폰(1104)의 사용자(1102) 터치를 결정하는 것에 응답하여 표시된다(1110에서 시간 및 통지와 함께 표시됨). 그렇게 함으로써, 사용자(1102)는 스마트폰(1104)이 사용자(1102)가 연계할 의도가 있음을 인식하고 있다는 피드백을 받는다.
언급된 바와 같이, 상태 관리자(112)는 인증 시스템(114)이 인증 프로세스를 계속하게 하고, 이러한 계속된 시도를 통해 사용자(1102)를 인증한다. 이것은 부분(1100-5)에 나타나 있으며, 결과적으로 스마트폰(1104)은 잠금 해제 아이콘(1112)을 제시하는 디스플레이(1108)와 함께 표시되는 상위 액세스 상태(502-1)와 함께 각각 상이한 상태, 상위 액세스, 고전력 및 상위 정보 상태(502-1, 504-1 및 506a)에 있게 된다. 이러한 상태 레벨은 상태 관리자(112)에 의해 자동으로 상승되어 사용자(1102)에게 원활한 사용자 경험을 제공할 수 있다.
이 예시적인 시나리오(1100)에서, 센서들(108)에 의해 제공되는 관성 데이터는 상태 관리자(112)로 하여금 사용자(1102)가 스마트폰(1104)과 연계할 의도가 있고 따라서 사용자(1102)가 인증받기를 원한다는 것을 더 상위 레벨의 신뢰도로 확인하고 따라서 추가 전력을 정당화하게 한다. 이것은 IMU의 관성 데이터와 레이더 시스템의 레이더 데이터를 사용하여 전력 소비를 줄이면서 빠르고 쉽게 사용자를 인증하는 방법을 보여주는 한 가지 예시적인 시나리오에 불과하다.
고 레벨 상태 감소
도 12는 IMU 및 레이더를 통해 상위 레벨 상태를 감소시키기 위한 예시적인 방법(1200)을 도시한다. 방법(1200)은 수행되는 동작들을 지정하는 블록 세트로 도시되지만, 반드시 개별 블록에 의한 동작들을 수행하기 위해 도시된 순서 또는 조합으로 제한되지는 않는다. 또한, 하나 이상의 동작중 임의의 것은 본 문서에 명시된 다른 방법(예를 들어, 방법 1000, 1400, 1700 및 1800)을 포함하여 광범위한 추가 및/또는 대체 방법을 제공하기 위해 반복, 결합, 재구성 또는 링크될 수 있다. 다음 논의의 일부에서, 도 1의 예시적인 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔티티들 또는 프로세스들에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 디바이스상에서 작동하는 하나의 엔터티 또는 다수의 엔터티의 성능으로 제한되지 않는다.
선택적으로, 1202에서 그리고 동작(1204 또는 1206) 이전에, 비활성 기간(inactivity time period)이 만료된 것으로 결정된다. 기간의 만료에만 의존하는 일부 다른 종래의 기술과 대조적으로, 방법(1200)은 사용자 장비에 대한 상위 레벨 상태를 감소시키기 위해 비활성 기간을 사용하거나 사용하지 않을 수 있다. 이 비활성 타이머는 필수는 아니지만 타이머를 사용하면 짧은 타이머일지라도 경우에 따라 전력을 절약할 수 있다. 보다 상세하게는, 터치 스크린 또는 버튼에 대한 마지막 터치, 오디오 명령, 또는 제스처 입력이 사용자 장비에 의해 수신되었을 때와 같이 사용자 장비와의 마지막 사용자 액션이 수신될 때 비활성 타이머가 시작된다. 일부 종래 기술은 오로지 타이머만을 사용하고, 이러한 종래 타이머는 종종 몇 분(예를 들어, 1분, 3분, 5분 또는 10분) 동안 지속되기 때문에, 방법(1200)은 1/2, 1, 3, 5, 10, 또는 20초와 같이 비교적 짧은 기간을 사용할 수 있다. 그렇게 함으로써, 사용자 장비가 정보를 노출하고, 부적절한 액세스를 이용할 수 있게 하는 등의 가능성은 매우 낮지만, 짧은 비활성 기간의 사용은 비활성 기간 동안 1204 및/또는 1206의 동작들을 수행하는 것을 억제함으로써 일정 양의 전력을 절약하도록 동작할 수 있다.
1204에서, 움직임은 사용자가 사용자 장비와 상호작용 중이거나 최근에 사용자 장비와 상호작용한 사용자 장비의 상위 레벨 상태 동안 결정된다. 움직임 관리자(110)는 UE(102)와 통합된 센서들(108)로부터 수신된 관성 데이터에 기초하여 이 움직임을 결정한다. 점선 화살표로 도시된 바와 같이, 이 동작은 선택적으로 동작 1206 및/또는 1202(미도시)에 응답적일 수 있다. 이 결정된 움직임은 사용자(120)가 UE(102)를 집어 들고, 가지고 걷고, 내려놓거나, 주머니 또는 인클로저에 넣거나, 또는 단순히 근처를 만지거나 UE(102)를 터치하는 것과 같이 위에 설명된 다양한 움직임들 중 하나 이상일 수 있다. 일부 경우, 움직임 관리자(110)는 움직임이 UE(102)의 상태를 변경하기에 충분하거나 충분하지 않다고 결정하고 이 상태를 상태 관리자(112)에게 전달한다. 그 예로는 임계 움직임을 극복하지 못한 것, 주변 진동으로 인한 것, 움직임 동안 진행중인 움직임에 대한 충분한 변화가 아닌 것과 같이 위에서 언급한 것들이 포함된다. 따라서, 움직임 관리자(110)는 사용자(120)가 UE(102)와 함께 걸을 때 UE(102)가 움직이고 있다고 결정할 수 있지만, 그 움직임은 사용자(120)가 UE(102)로부터 연계 해제될 수 있는 가능성을 표시하기에 충분한 변화가 아닌 것으로 결정될 수 있다. 이것을 보는 다른 방법은 움직임이 단순히 UE(102)의 현재 움직임이 아니라 변경에 기초할 수 있다는 것이다. 예시적인 변경은 사용자가 UE(102)와 함께 걷고 그것을 테이블 위에 놓는 것과 같이 이동한 다음 이동하지 않는 것을 포함한다. 센서들(108)로부터의 관성 데이터가 사용자(120)가 UE(102)를 테이블 위에 놓는 것을 포착하지 못할 수 있지만, 직전에 움직임이 있었을 때(사용자(120)가 UE(102)와 함께 걷고 있음) 관성 데이터가 움직임을 거의 또는 전혀 나타내지 않는다는 결정은 이 직전 움직임에 기초하여 동작(1204)에서 움직임으로서 여전히 결정될 수 있다.
더 상세하게는, 기술은 사용자의 연계에 대해 사용자 장비의 상태를 조정할 수 있다. 따라서, 일부 경우에 사용자 장비는 사용자가 사용자 장비와 고도로 연계하고 있기 때문에 상위 레벨 상태(또는 상태들)에 있다. 예를 들어, 방법(1200)은 동작(1204 또는 1206) 이전에 사용자가 사용자 장비와 상호작용하고 있음을 결정할 수 있다. 사용자 연계의 이러한 결정은 사용자의 연계 의도를 나타내는 이전 레이더 데이터에 기초하고, 사용자의 오디오 또는 터치 입력, 사용자로부터 수신된 명령 또는 입력 그리고 오디오 또는 터치 센서를 통한 성공적인 인증 프로세스에 기초할 수 있다.
1206에서, 연계 해제 의도는 레이더 데이터에 기초하여 사용자 장비에 의해 결정된다. 레이더 관리자(106)는 레이더 시스템(104)으로부터 레이더 데이터를 수신하고, 이 레이더 데이터를 사용하여 사용자가 UE(102)로부터 연결 해제할 의도인지 여부를 결정한다. 이 연결 해제 의도는 UE(102)로부터 사용자(120)의 손 철회, UE(102)에 대한 얼굴 방향 변경, 사용자(120)가 UE(102)로부터 멀어지거나 그들의 등을 UE(102)로 향하게 하는 등과 같은 위에서 설명된 다양한 유형을 포함한다. .
점선 화살표로 도시된 바와 같이, 이 동작(1206)은 선택적으로 동작(1204)(및/또는 1202, 도시되지 않음)에 응답적일 수 있다. 이러한 경우에, 상태 관리자(112) 또는 레이더 관리자(106)는 움직임이 결정될 때까지 사용자(120)의 언계 해제 의도를 결정하는 것을 억제함으로써 전력을 절약하도록 작동하고, 1204에서 움직임 결정을 위해 그 반대도 마찬가지이다. 그렇게 함으로써 전력이 절약될 수 있다. 따라서, 전력 관리 모듈(620)은 1204에서 움직임이 결정될 때까지 레이더 시스템(104)을 감소된 전력으로 유지하는 기술에 의해 지시될 수 있다. 일단 움직임이 결정되면, 상태 관리자(112)는 전력 관리 모듈(620)이 사용자(120)가 연계 해제 의도를 나타내는 방식으로 행동하고 있는지 여부를 결정하기 위한 준비로 레이더 시스템(104)의 전원을 공급하도록 한다.
1208에서, 사용자 장비의 상위(high) 레벨 상태는 움직임 및/또는 연계 해제 의도의 결정에 응답하여, 중간 레벨 또는 하위(low) 레벨 상태로 감소된다. 더 자세하게는, 예를 들어 도 5에 예시된 것과 같은 것(상위 액세스 상태(502-1), 고전력(504-1) 또는 상위 정보 상태(506-1))과 같은 액세스, 전력 또는 정보를 포함하는 하나 또는 다중 상태일 수 있다. 상태 관리자(112)는 움직임이나 연계 해제 의도의 결정 또는 둘 모두에 응답하여, UE(102)의 상태들 중 하나 이상을 감소시키기로 결정한다. 이것은 상위 레벨(1208-1)에서 중간 레벨(1208-2) 또는 하위 레벨(1208-3)로의 감소를 나타내는 화살표로 도 12에 도시되어 있다. 이는 전력, 액세스 및 정보의 다양한 세분성 중 두 가지에 불과하다. 도 5에 도시된 바와 같이, 중간 레벨(1208-2) 및 하위 레벨(1208-3)은 각각 중간 액세스 상태(502-2), 중간 전력 상태(504-2) 및 중간 정보 상태(506b)를 포함하며, 그 각각은 위에 설명되어 있다. 하위 레벨(1208-3)은 3개의 낮은 상태인 하위 액세스 상태(502-3), 저전력 상태(504-3) 및 하위 정보 상태(506c)로 도시된다. 이러한 상태는 위에서 자세히 설명되었다. 이들 상태들 중 임의의 하나, 둘 또는 셋 모두는 동작(1208)에서 상태 관리자(112)에 의해 각각 동일한 레벨 또는 상이한 레벨로 감소될 수 있음을 주목한다. 따라서, 상태 관리자(112)는 상위 액세스 상태(502-1)를 중간 또는 낮은 상태로 감소시킬 수 있고, 전력 상태 및 정보 상태를 높은 또는 혼합 레벨로 유지할 수 있다. 유사하게, 상태 관리자(112)는 UE(102)를 상위 액세스 상태(502-1)(예를 들어, "잠금 해제")로 유지하면서 전력 상태(504)를 저전력 상태(504-3)로 감소시킬 수 있다.
예로서, 도 13에 예시된 시나리오(1300)에 대한 방법(1200)의 적용을 고려한다. 시나리오(1300)는 3개의 부분을 포함하며, 각각은 이전 부분에 시간순으로 뒤따른다. 시나리오(1300)의 제1 부분 이전에, 사용자(1302)는 스마트폰(1304)과 능동적으로 연계하고 있고 스마트폰(1304)은 상위 레벨 상태, 즉 전력, 액세스 및 정보 상태에 있다고 가정한다. 시나리오 부분(1300-1)에 도시된 제1 부분에서, 사용자(1302)는 테이블로 걸어가서 테이블 위에 스마트폰(1304)을 놓는다. 동작(1204)에서, 센서들(108)은 테이블 위의 스마트폰(1304)의 터치에 대한 관성 데이터를 수신하거나 또는 테이블 위에 놓이기 전에 관성 데이터가 (스마트폰(1304)을 가지고 걷는 사용자(1302)에 기초하여) 움직임을 나타낼 때 관성 데이터 부재(lack)를 수신한다. 이들 관성 데이터 중 하나 또는 둘 모두에 기초하여, 움직임 관리자(110)는 스마트폰(1304)에 대한 움직임을 결정하고 이 결정을 레이더 관리자(106) 및/또는 상태 관리자(112)에 전달한다.
레이더 관리자(106)는 움직임 데이터에 즉시 응답하거나 이미 그렇게 하고 있었던 레이더 필드(118)(시각적 간결함을 위해 미도시, 예는 도 1 참조)를 제공하고, 따라서 사용자(1302)의 신체 위치 등을 나타내는 레이더 데이터를 수신한다고 가정한다. 이 레이더 데이터에 기초하여, 레이더 관리자(106)는 신체, 팔 및 손 배치에 대한 동작(1206)에서, 제1 반복(및 아마도 다수의 다른 반복)에 대해 사용자(1302)가 시나리오 부분(1300-1)에서 연계 해제할 의도가 없다고 결정한다. 이는 사용자(1302)의 신체 방향이 스마트폰(1304)을 향하고 있고 사용자의 손과 팔이 스마트폰(1304)을 향하고 있기 때문이다. 이 때문에, 상위 정보 상태(1306a)는 변경되지 않는다.
그러나, 시나리오 부분(1300-2)에서, 대략 2초 후에, 사용자(1302)가 스마트폰(1304)으로부터 자신을 몸을 돌리면서 자신의 커피잔을 들고 멀어지기 시작한다고 가정한다. 이 시점에서, 레이더 관리자(106)는 사용자(1302)의 신체 방향이 스마트폰(1304)에서 부분적으로 돌려지고 사용자(1302)의 팔과 손이 스마트폰(1304)이 아니라 커피잔을 향하고 있는 것에 기초하여 사용자(1302)가 스마트폰(1304)으로부터 언계 해제하려는 의도가 있다고 결정한다. 레이더 관리자(106)는 이 결정을 상태 관리자(112)에게 전달한다.
동작(1208)에서, 움직임 및 연계 해제 의도 결정을 수신하는 것에 응답하여, 상태 관리자(112)는 스마트폰(1304)의 정보 상태를 시나리오 부분(1300-1)에 도시된 상위 정보 상태(1306a)로부터 중간 정보 상태(1306b)로 감소시킨다. 이러한 예시적인 정보 상태는 2개의 문자 메시지 및 하루 중 시간의 컨텐츠를 보여주는 시나리오 부분(1300-1)에 디스플레이된 정보와 함께 도시된다. 사용자(1302)가 몸을 돌려 커피잔을 집는 즉시, 정보 상태는 중간 정보 상태(1306-2)로 감소되며, 하루 중 시간 및 문자 메시지에 대한 축소(된) 정보(발신자의 이름은 표시되지만 컨텍스트는 표시되지 않음)와 함께 표시된다. 이 중간 정보의 양은 사용자(1302)가 연계에 대한 자신의 마음을 바꾸거나 다른 사람의 문자와 같은 새로운 통지가 도착했는지 확인하기 위해 스마트폰(1304)을 다시 보고 싶어할 수 있기 때문에 사용자(1302)에게 유용할 수 있다. .
또한, 또는 중간 정보 상태(1306b)를 표시하는 대신에, 동작(1208)의 일부로서, 상태 관리자(112)는 중간 상태에 있는 즉시 또는 직후에 하위 레벨로 진행할 수 있다. 여기서 상태 관리자(112)는 사용자(1302)가 연계 해제를 의도하거나 더 높은 신뢰 레벨(예를 들어, 여기서 사용자(1302)가 이제 몇 미터 떨어져 있고 등을 스마트폰(1304)으로 완전히 돌렸을 때 높은 신뢰도로 표시됨)을 나타내는 레이더 관리자(106)에 의한 추가 결정에 응답하여, 정보 상태를 하위 정보 상태(1306-3)로 더 감소시키는 것으로 가정하고, 이는 하루 중 현재 시간만을 제시하는 시나리오 부분(1300-3)으로 도시된다.
이 예는 정보 상태에 대한 변경을 보여주지만, 액세스 및 전력도 변경될 수 있거나 대신 변경될 수 있다. 이것은 상위 레벨의 액세스(예를 들어, 도 5의 상위 레벨 액세스(502-1))를 나타내는 시나리오 부분(1300-1)에 도시된 잠금 해제 아이콘(1310)과 함께 부분적으로 도시된다. 상태 관리자(112)가 움직임 데이터 및 연계 해제 의도를 수신한 후 시나리오 부분(1300-2)에서, 상태 관리자(112)는 잠금 아이콘(1312)으로 사용자에게 표시되는 하위 레벨로 액세스를 감소시킨다. 또한, 전력 상태는 시나리오 부분(1300-2 및/또는 1300-3)에서 스마트폰(1304)의 디스플레이(미도시)의 광도를 줄이는 것과 같이 변경될 수 있다.
인증된 상태 유지
도 14는 인증된 상태를 유지하기 위한 예시적인 방법(1400)을 도시한다. 방법(1400)은 수행되는 동작들을 지정하는 블록 세트로서 도시되지만, 반드시 개별 블록에 의한 동작을 수행하기 위해 도시된 순서 또는 조합으로 제한되는 것은 아니다. 또한, 하나 이상의 동작 중 임의의 것은 본 문서에 명시된 다른 방법(예를 들어, 방법 1000, 1200, 1700 및 1800)을 포함하여 다양한 추가 및/또는 대체 방법을 제공하기 위해 반복, 결합, 재구성 또는 링크될 수 있다. 다음 논의의 일부에서, 도 1의 예시적인 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 디바이스상에서 작동하는 하나의 엔터티 또는 다중 엔터티의 수행으로 제한되지 않는다.
방법(1400)을 논의하기 전에, 전체 또는 부분적으로 위에 설명된 임의의 방법이 방법(1400)과 결합될 수 있다는 점에 유의한다. 예를 들어, 도 10의 방법(1000)의 수행을 고려한다. 이 방법(1000)은 사용자의 인증을 초래하는 인증 관리의 일 예를 설명한다. 이 인증에 응답하여 사용자 장비는 인증(된) 상태로 진입한다. 이 상태는 위에서 더 자세히 설명되어 있다. 따라서, 방법(1000)(또는 사용자의 일부 다른 인증 방식)은 방법(1400) 이전에 수행된다.
1402에서, 사용자 장비의 인증(된) 상태 동안, 사용자 장비의 사용자에 의한 잠재적인 연계 해제가 결정된다. 사용자에 의한 잠재적인 연계 해제에 대한 이러한 결정은 위에서 언급한 바와 같이 사용자에 의한 연결 해제 의도를 결정하는 것 및 아래에 설명되는 다른 결정을 포함할 수 있다. 또한, 위에서 언급한 바와 같이, 인증 상태는 사용자에 의한, 하나 이상의 데이터, 애플리케이션, 기능, 계정 또는 사용자 장비의 구성요소에 대한 액세스를 허용한다. 인증 상태의 예는 위의 도 5에 언급된 상위 액세스 상태(502-1) 및 중간 액세스 상태(502-2)를 포함한다. 이러한 액세스 상태 중 하나는 인증 상태(종종 사용자 선호도 또는 운영 체제 디폴트 설정에 기초함)에 있을 때 UE(102)에 의해 허용될 수 있지만, 그 인증 상태는 사용자의 이전 인증을 가정한다. 그러나 사용자가 선택한 선호도 또는 설정은 인증 없이 UE(102)의 상위 또는 중간 액세스를 허용할 수 있다. 따라서, 인증 상태는 위에서 언급한 상위 및 중간 액세스 상태에 의해 허용된 액세스를 포함할 수 있지만 상위 및 중간 액세스는 반드시 인증된 상태는 아니다.
도 14에 도시된 바와 같이, 잠재적인 연계 해제의 결정은 선택적으로 동작(1404) 또는 동작(1406)에 응답하여(또는 수행을 통해) 수행될 수 있을 뿐만 아니라 방법(1200)의 동작(1206)에서 연계 해제 의도를 결정하는 것을 통하는 것과 같이 본 명세서에 설명된 다른 방식으로 수행될 수 있다. 1404에서, 비활성 기간의 만료가 결정된다. 위에서 언급한 바와 같이, 이 비활성 기간은 마지막 사용자 액션이 수신될 때, 사용자 장비와의 능동적 연계가 종료될 때(또는 마지막으로 수신될 때) 또는 마지막 연계 의도가 결정되었을 때 시작될 수 있다. 예를 들어, 비활성 타이머(예를 들어, 시간 기간)는 사용자가 터치 감지 디스플레이 또는 버튼을 마지막으로 터치하거나, 마지막 수신된 오디오 명령이 발화되거나, 마지막 결정된 터치 독립형 제스처(예를 들어, 위에서 언급된 레이더 시스템(104)을 사용하여 결정된 제스처)가 수행될 때 시작된다.
1406에서, 사용자 장비의 움직임은 사용자 장비와 통합된 관성 측정 장치(IMU)의 관성 데이터에 기초하여 결정된다. 도 1의 센서들(108)로부터 수신된 관성 데이터와 같은 예시적인 움직임 및 관성 데이터가 위에서 설명되었다. 따라서, 움직임 결정은 UE(102)를 사물함, 가방 또는 주머니에 넣는 것과 같이(가방이나 주머니에 넣는 것이 나중에 아래에 언급된 수동적 연계로 결정될 수 있지만) 사용자가 잠재적으로 연결 해제하고 있음을 방법이 결정할 수 있는 한 가지 방법이다..
1408에서, 사용자 장비와의 사용자의 수동적 연계는 레이더 데이터에 기초하여 결정된다. 수동적 연계의 이러한 결정은 잠재적 연계 해제(점선 화살표로 표시됨)에 대한 1402에서의 결정에 응답적일 수 있거나, 해당 결정과 독립적이거나 일치할 수 있다. 잠재적인 연계 해제의 결정에 응답하여 동작(1408)을 수행하는 것은 일부 경우에 전력을 절약하거나 레이턴시를 감소시킬 수 있다. 예를 들어, 방법(1400)은 잠재적인 연계 해제의 결정에 응답하여 레이더 시스템(104)(또한 도 6a 및 6b 참조)의 구성요소에 전원을 공급할 수 있다. 이것은 위에서 언급한 바와 같이 전력을 절약하거나 레이더 시스템(104)이 사용자가 레이더 시스템(104)과 수동적으로 연계하는지 여부를 결정하기 위해 준비하는 추가 시간을 제공할 수 있다.
도 1의 컨텍스트에서, 레이더 관리자(106)는 사용자(120)가 UE(102)와 수동적으로 언계하고 있다고 결정한다. 이러한 수동적 연계는 여러 방식으로 레이더 관리자(106)에 의해 결정될 수 있으며, 이는 배타적이거나 서로 중첩될 수 있다. 예를 들어, 레이더 관리자(106)는 사용자(120)의 손이 사용자 장비(102)의 디스플레이(116)가 유지되는 방향에서 사용자 장비(102)를 잡고 있음을 나타내는 레이더 데이터에 기초하여 사용자가 수동적으로 연계하고 있다고 결정할 수 있다. 따라서, 사용자(120)가 UE(102)를 안정적으로(또는 컨텐츠를 보거나 다른 사람이 컨텐츠를 볼 수 있도록 충분히 안정적으로) 잡고 있으면 사용자(120)는 수동적으로 연계하는 것이다. 사용자(120)가 자신의 신체를 UE(102)를 향하여 바라보거나 지향하는 것을 포함하여 수동적 연계를 결정하는 다른 예가 위에 설명되어 있다.
더욱이, 레이더 관리자(106)는 예를 들어 UE(102)의 2미터 내에 있는 것과 같이 사용자(120)가 존재함을 나타내는 레이더 데이터에 기초하여 수동적 연계를 결정할 수 있다. 1.5미터, 1미터, 또는 1/2미터와 같은 다른 거리가 또한 또는 대신 사용될 수 있다. 사실상, 레이더 관리자(106)는 사용자(120)가 대략 UE(102)의 도달 범위 내에 있음으로써 수동적으로 언계하고 있다고 결정할 수 있다. 레이더 관리자(106)는 사용자(120)가 수동적으로 연계하고 있음을 표시함으로써 명시적으로 그렇게 하거나 단순히 UE(102)로부터의 거리를 표시하는 정보를 상태 관리자(112)에게 전달할 수 있다. 그런 다음 상태 관리자(112)는 사용자(120)의 근접ㄷ도, 및 일부 경우에는 다른 사람(또는 이들의 부재)과 같은 컨텍스트, 사용자(120)가 차량(자동차, 버스, 기차)내에 있는지, 책상에 있는지 여부 등에 기초하여 수동적 연계를 결정한다. 예를 들어, 자신의 집안에 앉아 있는 사용자는 붐비는 커피숍이나 기차안에 앉아 있는 사용자보다 더 큰 허용 거리를 가질 수 있다.
1410에서, 사용자에 의한 사용자 장비와의 수동적 연계의 결정에 응답하여, 인증 상태가 유지된다. 인증 상태의 이러한 유지는 다른 잠재적인 연계 해제가 결정될 때까지 또는 일부 시간 기간 동안 계속될 수 있으며, 그 후에 방법(1400)이 다시 수행될 수 있다. 인증 상태의 한 예는 도 5의 상위 액세스 상태(502-1)이다. 많은 컨텍스트에서 이 인증 상태는 UE(102)의 잠금 해제 상태이지만, 일부 다른 경우 인증 상태는 전술한 중간 액세스 상태(502-2)와 같이 UE(102)에 대한 전체가 아닌 일부 액세스를 허용한다.
이러한 UE(102)에 대한 인증 상태의 유지는 다른 상태가 유지될 것을 요구하지 않는다. 예를 들어, 사용자(120)가 UE(102)로부터 2미터 이내에 있지만 UE(102)를 바라보거나 지향하지 않을 수 있는 경우, 상태 관리자(112)는 고전력 상태(504-1) 및 상위 정보 상태(506a)로부터 도 5에 도시된 중간 또는 저전력 또는 정보 상태로처럼 UE(102)의 전력 상태 또는 정보 상태를 감소시킬 수 있다. 그러나, 수동적 연계가 UE(102)를 바라보는 사용자를 포함하는 경우, 전력 또는 정보 상태는 디스플레이(116)를 통해 사용자(120)에게 컨텐츠를 계속 제시하기 위해 유지될 수도 있다.
선택적으로, 방법(1400)은 레이더 데이터에 기초하여 비-사용자의 존재 또는 연계 의도가 결정되는 동작(1412)으로 진행할 수 있다. 이 레이더 데이터는 수동적 연계의 기반이 된 레이더 데이터 이후 몇 초 또는 몇 분 후에 수신된 레이더 시스템(104)으로부터의 레이더 데이터와 같은 동일하거나 나중에 수신된 레이더 데이터일 수 있다. 따라서, 1412에서 레이더 관리자(106)는 비-사용자가 UE(102)에 도달하거나 UE(102)의 디스플레이(116)를 보는 경우, 레이더 관리자(106)는 이러한 존재 또는 의도를 결정하고 이를 상태 관리자(112)에 전달할 수 있다.
1414에서, 비-사용자가 존재하거나 사용자 장비와 연계할 의도가 있다는 결정에 응답하여, 인증 상태의 유지가 중단된다. 따라서, 비-사용자가 걷거나, 손을 뻗거나, UE(102)의 디스플레이(116)를 바라보는 경우, 상태 관리자(112)는 UE(102)의 인증된 상태를 유지(또는 능동적으로 인증 해제)하는 것을 중단한다. 이러한 중지와 함께, 상태 관리자(112)는 또한 비-사용자에게 제공되는 정보를 감소 또는 제거하는데 효과적인 정보 상태와 같은 다른 상태를 감소시킬 수 있다. 예를 들어, 인증된 사용자가 지하철에서 개인 이메일을 읽고 있다고 가정한다. 그의 뒤에 앉아 있는 사람이 디스플레이를 보고 개인 이메일을 읽을 가능성이 있는 경우, 상태 관리자(112)는 UE(102)를 잠그고 개인 이메일 디스플레이를 중단할 수 있다. 이것은 빠르고 원활하게 수행되어 사용자의 프라이버시를 더욱 향상시킨다.
1416에서, 선택적으로 인증 상태를 유지하는 것을 중단한 후, 방법은 비-사용자가 더 이상 존재하지 않거나 더 이상 연계할 의도가 없다는 결정에 응답하여 인증 상태로 복귀될 수 있다. 위의 예를 계속하면, 지하철내의 비-사용자가 UE(102)의 디스플레이(116)로부터 시선을 돌릴 때, 상태 관리자(112)는 인증 프로세스를 통해 사용자(120)를 재인증하거나, 재인증 없이 단순히 인증 상태로 전환함으로써 사용자(120)를 재인증할 수 있다. 따라서, 사용자(120)는 인증 해제를 야기한 조건의 중단 즉시 이전 상태로 간단히 돌아갈 수 있다. 본 명세서에 설명된 시스템 및 프로세스와 같은 일부 인증 프로세스는 빠르고 전력 효율적이지만 인증 프로세스를 수행하지 않는 것이 더 빠르고 전력 효율적일 수 있다. 인증 상태로 돌아갈 때, 상태 관리자(112)는 사용자(120)에게 마지막으로 제시된 컨텐츠와 매칭하는 컨텐츠에서 이전 레벨로 정보 상태를 반환할 수 있다. 이 예에서, 비-사용자가 시선을 돌릴 때, 디스플레이(116)는 UE(102)가 사용자(120)에게 마지막으로 제시한 동일한 위치에서 개인 이메일을 제시한다. 이를 통해, 사용자에게 원활한 인증 관리 및 향상된 정보 프라이버시를 제공한다. 사용자(120)에 의한 선택은 인증 해제를 위한 사용자 선택과 같은 기술의 동작들을 무시할 수 있다는 점에 유의한다. 일부 경우, 사용자(120)는 본 명세서에 설명된 방법에 의해 허용되는 UE(102)를 단순히 턴오프한다.
시나리오(1500)를 통해 도 15에 도시된 다른 예를 고려한다. 시나리오(1500)는 4개의 부분을 포함한다. 제1 부분(1500-1)에서, 사용자(1502)가 자격 증명 또는 얼굴 특징 분석과 같은 것을 통해 스마트폰(1504)에 대해 인증되었고, 따라서 스마트폰(1504)이 인증 상태(1506)에 있다고 가정한다. 이 인증 상태(1506)는 사용자(1502)가 스마트폰(1504)에 액세스하는 것을 허용하며, 이는 화산 폭발에 관한 텔레비전 프로그램을 시청함으로써 스마트폰(1504)의 컨텐츠에 액세스하는 사용자(1502)를 통해 보여진다.
시나리오(1500)는 2개의 상이한 경로를 따라 발산하는 것으로 도시되어 있다. 한 경로에서 사용자(120)가 스마트폰(1504)을 터치하거나 입력을 제공하는 것을 중단할 때 비활성 타이머가 시작되며, 이는 여기서 사용자(120)가 텔레비전 프로그램을 보기 위해 긴장을 풀 때이다. 다른 경우에서는 비활성 타이머가 시작되거나 시작되지 않을 수 있지만 그의 만료 없이도 잠재적인 연계 해제가 결정된다. 따라서, 시나리오 부분(1500-2)에서, 비활성 3분 후에 비활성 타이머가 만료된다. 도 14로 돌아가면, 동작(1402)은 동작(1404)에서 만료되는 비활성 기간으로 인해 사용자에 의한 잠재적인 연계 해제가 발생했다고 결정한다. 시나리오 부분 1500-3에 표시된 두 번째 경로의 경우, 동작(1402)은 관성 데이터에 기초하여 동작(1406) 수행을 통해 스마트폰(1504)의 움직임이 발생했다고 결정함으로써 사용자에 의한 잠재적인 연계 해제가 발생했다고 결정한다. 이러한 움직임의 원인은 스마트폰(1504)이 놓여 있는 테이블의 가장자리에 발을 놓는 사용자(1502)이다.
잠재적인 연계 해제에 대한 이러한 결정 중 하나에 응답하여, 레이더 관리자(106)는 레이더 데이터에 기초하여 사용자(1502)가 스마트폰(1504)과 수동적으로 연계하고 있다고 결정한다. 이 동작은 1408에서 수행된다. 여기에서 사용자(1502)의 존재 또는 스마트폰(1504)을 보는 것이 결정된다고 가정하고, 둘 중 하나는 사용자(1502)가 수동적으로 연계하고 있음을 나타낸다.
이에 응답하여, 동작 1410에서, 상태 관리자(112)는 인증 상태를 유지한다. 이 모든 것은 사용자(1502)가 그것이 수행되었다는 것을 알아차리지 않고 원활하게 수행될 수 있다. 시나리오 부분(1500-4)에 도시된 바와 같이, 스마트폰(1504)은 단순히 어느 한 경로를 통해 텔레비전 프로그램을 계속해서 제시한다.
시나리오(1500)를 따르거나 대안적인 독립형 시나리오일 수 있는 도 16의 다른 시나리오(1600)를 고려한다. 시나리오(1600)는 3개의 시나리오 부분을 포함하고, 제1 시나리오 부분(1600-1)에서, 사용자(1502)는 여기에서 스마트폰(1504)의 컨텐츠(1602)로 표시된 도 15에 도시된 것과 유사하게 화산에 관한 텔레비전 프로그램을 보고 있다. 스마트폰(1504)은 도 15에 언급된 인증 상태(1506)와 같이 프로그램의 이러한 제시 동안 인증 상태에 있다.
그러나, 시나리오 부분(1600-2)에서, 비-사용자(1604)는 사용자(1502)와 함께 소파에 앉는다. 이 비사용자(1604)는 사용자(1502)의 동료이므로 사용자(1502)는 고개를 돌리고 비사용자(1604)와 대화를 시작한다. 사용자(1502)의 이러한 액션은 위에서 언급한 바와 같이 자신의 머리를 돌리는 것 또는 말하기 또는 둘 다 잠재적인 연계 해제로 간주될 수 있다. 사용자(1502)에 의한 잠재적인 연계 해제가 고려되는 경우, 상태 관리자(112)는 도 5 및 12(예를 들어, 방법(1200)의 동작(1206 및 1208))에 언급된 액세스 상태 또는 정보 상태를 감소시키는 것과 같이 스마트폰(1504)의 상태를 감소시킨다.
그러나, 레이더 관리자(106)가 방법(1400)의 동작(1412)을 통해 그리고 레이더 데이터에 기초하여 비-사용자(1604)의 존재를 결정한다고 가정한다. 이러한 비사용자(1604)의 존재에 기초하여, 상태 관리자(112)는 상태 관리자(112)가 스마트폰(1504)의 인증 상태를 유지하기 위해 이전에 행동한 후(예를 들어, 도 15에 도시된 동작(1410)을 통해) 인증된 상태(1506)를 유지하는 것을 중단한다. 따라서, 상태 관리자(112)는 스마트폰(1504)이 시나리오 부분(1600-2)의 확대도에 도시된 비인증 상태(1604)로 감소되게 할 수 있다. 이러한 변경은 잠금 아이콘(1606)을 통해 그리고 컨텐츠(1602) 제시를 중단함으로써 사용자(1502)에게 보여진다.
시나리오 부분(1600-3)에서, 비-사용자(1604)는 떠났고 사용자(1502)는 스마트폰(1504)을 바라보는 것으로 돌아갔다. 레이더 관리자(106)는 비-사용자(1604)가 더 이상 존재하지 않는다고 결정하고, 이 결정을 상태 관리자(112)에 표시하고, 상태 관리자(112)는 스마트폰(1504)을 인증 상태(1506)로 되돌린다. 상태 관리자(112)는 또한 사용자(1502)가 스마트폰(1504)과 연계할 의도가 있다는 결정을 요구할 수 있거나 스마트폰(1504)의 존재를 떠나는 비-사용자(1604)에 기초하여 단순히 인증 상태로 돌아갈 수 있음에 주목한다. 또한 본 문서에 설명된 기술은 사용자를 중단했던 지점(spot)으로 원활하게 되돌릴 수 있으므로 우수한 사용자 경험을 제공할 수 있다. 이것은 상태 관리자(112)가 스마트폰(1504)을 동일한 텔레비전 프로그램으로 그리고 사용자(1502)에게 마지막으로 제시되었던 동일하거나 거의 동일한 시점으로 되돌리는 도 16에 도시되어 있다. 일부 실시예의 경우, 이 기술은 설정 화면 또는 유사한 디바이스 구성 화면에서, 사용자가 단계(1416)에서 스마트폰(1504)이 비-사용자가 더 이상 존재하지 않거나 연계할 의도가 없다는 결정에 응답하여 인증 상태로 돌아갈 것인지 여부와 스마트폰(1504)이 인증 시스템의 전력 소비 구성요소를 사용하는 더 엄격한 인증 프로세스가 수행될 때까지 비인증 상태로 유지될 것인지 여부를 지시할 수 있게 한다. 달리 말하면, 이 기술은 설정 또는 유사한 디바이스 구성을 통해 사용자가 선택한 설정을 제공할 수 있으며, 이는 일단 비-사용자의 오염(taint)이 있었다면 그 오염이 더 이상 존재하지 않더라도 스마트폰(1504)이 인증 해제 상태로 유지되게 한다.
제스처 인식 관리
도 17은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 이용한 레이더 기반 제스처 인식을 위한 예시적인 방법(1700)을 도시한다. 방법(1700)은 수행되는 동작들을 지정하는 블록의 세트로 도시되지만, 반드시 개별 블록에 의한 동작들을 수행하기 위해 도시된 순서 또는 조합으로 제한되는 것은 아니다. 또한, 하나 이상의 동작 중 임의의 것은 다양한 추가 및/또는 대체 방법(예를 들어, 방법 1000, 1200, 1400 및 1800)을 제공하기 위해 반복, 결합, 재구성 또는 링크될 수 있다. 다음 논의의 부분에서, 도 1의 예시적인 동작 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 디바이스상에서 작동하는 하나의 엔터티 또는 다중 엔터티의 수행으로 제한되지 않는다.
동작(1702)에서, 복수의 센서(108)로부터 센서 데이터가 수신된다. 예를 들어, 근접 센서(208)는 객체(예를 들어, 근접 모드에서 동작함으로써 근접 센서로서 구성된 레이더 시스템(104))에 대한 근접도를 나타내는 센서 데이터를 생성한다. IMU(408)는 움직임을 나타내는 센서 데이터를 생성할 수 있고 다른 센서(108)는 컨텍스트를 정의하는데 사용되는 다른 센서 데이터를 생성할 수 있다.
레이더 시스템(104)은 근접을 검출하기 위한 충분한 해상도 및 품질의 센서 데이터를 생성하기 위해 저전력, 근접 모드(예를 들어, 저전력 상태(504-3))에서 동작가능할 수 있다. 레이더 시스템(104)은 또한 근접 모드에서 생성된 센서 데이터에 비해 향상된 센서 데이터를 생성하기 위해 고전력, 제스처 인식 모드(예를 들어, 고전력 상태(504-1))에서 동작할 수 있다. 제스처 인식 모드에서, 레이더 시스템(104)에 의해 생성된 센서 데이터는 그 센서 데이터가 더 복잡한 제스처 인식 작업에 사용되기 때문에 근접 모드에서보다 더 높은 해상도 또는 더 높은 품질이다. 동작(1702)에서 복수의 센서로부터 수신된 센서 데이터는 코스 움직임 및 근접도를 나타낼 수 있는 반면, 레이더 기반 제스처 인식을 수행하기 위해 레이더 시스템(104)으로부터 수집된 센서 데이터는 보다 정확한 움직임, 근접도 또는 폐색(occlusion)을 나타낼 수 있다.
센서 데이터는 객체의 이진 측정으로서 또는 물체에 대한 근접성을 추가로 지정하는 가변 측정치로서 근접도를 나타낼 수 있다. 근접도는 레이더 시스템(104) 또는 UE(102)의 다른 부분이 객체에 의해 가려졌는지(폐색)(UE(102)에 대한 사용자(120) 또는 그 반대가 객체에 의해 가려져 있음을 의미함) 여부를 나타낼 수 있으며, 존재량이 많을수록 폐색을 나타내고 존재량이 적을수록 폐색이 거의 또는 전혀 없음을 나타낼 수 있다. 센서 데이터는 UE(102)의 위치, 속도(speed), 가속도, 속력(velocity), 회전, 배향, 또는 다른 움직임 또는 포지셔닝 특성을 결정하는데 효과적인 움직임을 정의할 수 있다.
단계(1704)에서, UE의 컨텍스트가 결정된다. 동작(1702)에서 획득된 센서 데이터는 사용자(120)가 UE(102)와 상호작용함에 따른 UE(102)의 동작 환경을 나타낸다. 센서 데이터는 움직임이 의도적인지 비의도적인지 여부를 나타내는 패턴 또는 서명(signatures)을 포함할 수 있다. UE(102)는 특정 사용자 활동 또는 디바이스 컨텍스트에 대응하는 센서 데이터내의 패턴 또는 서명을 인식하기 위해 기계 학습을 사용하여 트레이닝된 기계 학습 활동 분류기를 포함하거나 액세스할 수 있다. 기계 학습 활동 분류기는 활동 인식을 사용하여 다른 작업을 수행하는 애플리케이션 및 기타 가입자에게 통지를 출력한다. 움직임 데이터에서 식별된 가속도 또는 진동은 사용자(120)가 걷거나 UE(102)와 함께 움직일 때 IMU(408) 또는 다른 센서(108)가 센서 데이터로서 기록하는 유사한 진동 및 가속도에 해당한다.
인식된 활동 또는 움직임은 상이한 컨텍스트를 나타낼 수 있다. 컨텍스트의 예는 보행 컨텍스트, 사이클링 컨텍스트, 운전 컨텍스트, 승차 컨텍스트, 또는 인식된 활동에 대응하는 다른 활동 컨텍스트를 포함한다. 움직임은 일반적으로 사용자(120)가 UE(102)를 보거나 잡고 있을 때 관찰되는 움직임 또는 움직임 부재뿐만 아니라 위치 및 방향을 나타낼 수 있다. 움직임 부재는 앉아 있는 컨텍스트, 고정된 컨텍스트, 사용되지 않은 컨텍스트 또는 보관된 컨텍스트를 나타낼 수 있다. 반대 움직임은 반대 활동에 대응할 수 있는데, 예를 들어 특정 움직임은 사용자가 UE(102)를 집어 들고 있음을 나타낼 수 있고 반대 또는 다른 움직임은 사용자가 UE(102)를 내려놓는 것을 나타낼 수 있다.
동작(1706)에서, 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부가 결정된다. UE(102)는 센서들(108)(예를 들어, 근접 센서(208) 및 IMU(408))로부터의 센서 데이터가 레이더 기반 제스처 인식이 일반적으로 수신될 때 UE(102)가 검출할 것으로 예상하는 센서 데이터와 매칭하는 경우 컨텍스트가 요구사항을 충족하는 것으로 결정할 수 있다. UE(102)는 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않을 때 그 반대가 참이라고 결정하고 레이더 시스템(104)에 의해 인식되는 제스처를 방지하거나 폐기할 수 있다.
예를 들어, UE(102)는 UE(102)의 현재 컨텍스트에 대한 레이더 기반 제스처 인식을 조정할 수 있다. 컨텍스트는 사용자(120)가 걷는 동안 UE(102)를 잡고 있으면 레이더 기반 제스처 인식에 대한 요구사항(요건)을 충족하지만 사용자(120)가 걷는 동안 UE(102)를 자고 있지 않은 경우에는 그렇지 않는다. 그러나, 걷는 동안 주머니나 배낭에 UE(102)를 운반하는 것은 레이더 기반 제스처 인식을 위한 요구사항을 충족하는 컨텍스트가 아니다(중재 재료를 통한 제스처 감지가 허용되는 경우 제외).
보관 컨텍스트는 센서 데이터가 UE(102)가 사용자(120)가 착용한 의복 주머니안, 배낭, 서류 가방 또는 여행 가방의 칸, 비행기, 택시, 자동차의 보관함, 보트, 버스 또는 기차, 차량의 콘솔 또는 글로브 박스 또는 기타 인클로저에 위치하고 있을 때이다. 홀딩 또는 운반 컨텍스트는 센서 데이터가 사용자(120)가 UE(102)를 들고 있음을 나타낼 때 식별된다. 정지 컨텍스트는 UE(102)가 홀딩되지 않거나, 움직이지 않거나, UE(102)가 놓여 있는 표면에 대해 실질적으로 움직이지 않는다는 것을 나타내는 센서 데이터로부터 명백하다. 이동(traveling) 컨텍스트는, 예를 들어, 사용자(120)가 UE(102)와 함께 걷고, 운전하고, 사이클링을 하거나, 움직이고 있는 경우에는 UE(102)가 홀딩되고 있는지 또는 보관되는지에 관계없이 UE(102)가 이동하고 있음을 나타낸다.
컨텍스트는 UE(102)가 이동 중인지, 홀딩 중인지 또는 보관 중인지에 부분적으로 기초하여 레이더 기반 제스처 인식의 요구사항을 충족시킨다. 예를 들어, 잡고(홀딩) 이동하는 것은 레이더 시스템(104)이 레이더 기반 제스처를 인식하는 컨텍스트이지만, 적재되어 이동하는 것은 레이더 시스템(104)이 레이더 기반 제스처를 인식하는 컨텍스트가 아닐 수 있다.
컨텍스트의 총족은 또한 지향성, 특히 운반 지향성(carrying orientation)에 의존할 수 있다. 사용자(120)가 걷고 있고 UE(102)를 잡고 있는 경우, 사용자가 특정 방식으로 UE(120)를 잡고 있지 않다면 컨텍스트는 레이더 기반 제스처 인식을 위한 요구사항을 여전히 충족하지 않을 수 있다. 예를 들어, 걷고 있는 동안 UE(102)를 가로(landscape) 및/또는 세로-아래(portrait-down) 방향(예를 들어, UE(102)의 터치 스크린이 지면 근처를 가리킴)으로 잡고 있는 사용자(120)는 그 사용자(120)가 이러한 컨텍스트에서 UE(102)와 상호작용하기를 원하지 않을 가능성이 있으므로 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않을 수 있다. 반대로, 걷고 있는 동안 UE(102)를 다른 방향(예를 들어, UE(102)의 터치 스크린이 하늘 또는 사용자(120)의 얼굴을 향하게 한 세로-위(portrait-up))으로 잡고 있는 사용자(120)는 그 사용자(120)가 걷는 동안 UE(102)의 터치스크린을 볼 가능성이 있으므로 레이더 기반 제스처 인식을 위한 요구사항을 충족할 수 있다.
UE(102)는 사용자(120)가 UE(102)를 잡고 있는지 여부 또는 어떻게 잡고 있는지에 대해 레이더 기반 제스처 인식을 조정할 수 있다. 예를 들어, UE(102)가 정지 컨텍스트에 있고, 자전거 프레임의 장착 브래킷에 고정되거나 또는 자전거를 타거나 운전하는 동안 자동차 통풍구 또는 대시보드에 부착된 경우와 같이 사용자(120)가 자전거를 타거나 운전 중에 UE(102)를 잡고 있지 않은 경우, 컨텍스트는레이더 기반 제스처 인식에 대한 요구 사항을 충족한다. 그러나, 사용자가 UE(102)를 잡고 있는 유사한 사이클링 또는 운전 컨텍스트는 레이더 기반 제스처 인식의 요구사항을 충족하지 않을 수 있다.
레이더 기반 제스처 인식은 객체로부터의 페색 또는 객체에 대한 근접도에 기초하여 UE(102)에 의해 조절될 수 있다. 예를 들어, UE(102)가 이미 보관 또는 정지 컨텍스트에 있는 동안 객체에 대한 근접도를 검출하는 것에 응답하여, 레이더 시스템(104)은 제스처 인식 모델(621)을 활성화(enable)한다. UE(102)가 이미 보관 또는 정지 컨텍스트에 있는 동안 객체에 의한 폐색을 검출하는 것에 응답하여 그 반대가 참일 수 있으며, 이 경우 레이더 시스템(104)은 제스처 인식 모델(621)을 비활성화한다. 예를 들어, 평평한 표면상에서 위를 향하게(터치 스크린이 위로) 놓인 UE(102)는 객체에 대한 근접도 또는 폐색이 감지되지 않아 그 결과 제스처 인식이 활성화되는 정지 컨텍스트일 수 있다. 평평한 표면상에서 아래를 향하게(터치 스크린이 아래로) 놓인 UE(102)는 폐색이 감지되어 그 결과 제스처 인식이 게이트되는 반대 정지 컨텍스트이다.
많은 움직임(significant motion)은 제스처 인식 모델(621)을 조절할 수 있다. UE(102)가 빈번하거나 강한 움직임 또는 움직임의 변화를 겪는 많은-움직임 컨텍스트에 있는 경우, 그 컨텍스트는 레이더 기반 제스처 검출에 덜 적합할 수 있다. 예를 들어, 사용자가 UE(102)를 손에 들고 달리기를 하는 경우, 레이더 시스템(104)은 제스처 인식 모델(621)을 게이팅하여 레이더 시스템(104)이 임의의 제스처-조건부 이벤트를 잘못 트리거하지 않도록 한다.
레이더 시스템(104)은 상이한 유형의 제스처에 대해 또는 상이한 유형의 컨텍스트에 대해 상이한 감도 레벨을 적용할 수 있다. 움직임 많은 컨텍스트는 대부분의 레이더 기반 제스처에 대해 게이팅을 트리거할 수 있지만 움직임이 적은 컨텍스트는 레이더 기반 제스처 중 일부만 게이팅을 트리거할 수 있다. 예를 들어, 레이더 시스템(104)은 고진동 제조 컨텍스트에서 비정밀(course) 제어(예를 들어, 전체 손) 제스처를 인식할 수 있지만 동일한 컨텍스트는 UE(102) 또는 사용자(120)가 불안정하고 움직이는 특정 정밀(fine) 제어(예를 들어, 개별 손가락) 레이더 기반 제스처에 적합하지 않을 수 있다. 고진동 컨텍스트에서 정밀 제어 레이더 기반 제스처를 인식하려고 시도하는 대신, 레이더 시스템(104)은 동일한 컨텍스트에서 비정밀 제어 제스처를 계속 인식하면서 정밀 제어 제스처를 위한 제스처 인식 기능을 게이팅(차단)한다. 레이더 시스템(104)은 정밀 제어 제스처에 상이한 감도 레벨을 적용하므로 비정밀 제어 제스처보다 더 쉽게 트리거된다. 레이더 시스템(104)은 정밀 제어 제스처처럼 쉽게 트리거되는 것을 피하기 위해 비정밀 제어 제스처에 상이한 감도 레벨을 적용한다.
해양 컨텍스트에서, 사용자(120)는 보트의 승객으로서 UE(102)와 상호작용한다. 사용자(120)는 UE(102)를 잡을 수 있거나 UE(102)는 보트에 내장된 컴퓨팅 디바이스일 수 있다. 보트는 파도와 함께 움직이다. 폭풍우가 치는 환경에서, 레이더 시스템(104)은 UE(102)가 피치 또는 방향의 큰 변화를 겪고 있을 때 특정 레이더 기반 제스처를 인식하기 어려울 수 있음을 인식하고 오탐을 출력하는 위험을 감수하기 보다는 레이더 기반 제스처를 게이팅할 수 있다. 폭풍우 환경이 진정되고 피치 및 방향의 변화가 가라앉는 경우, 레이더 시스템(104)은 자동으로 게이팅을 중지하고 폭풍우 동안 게이팅되었던 레이더 기반 제스처를 활성화한다.
레이더 시스템(104)은 특정 컨텍스트에 대한 모든 레이더 기반 제스처를 게이트하거나 특정 유형의 레이더 기반 제스처만 게이트할 수 있다. 예를 들어, 도달 및 잡기 제스처, 구체적으로 UE(102)를 픽업하기 위해, 레이더 시스템(104)은 사용자(120)가 얼굴 인증 시스템(114)을 트리거하기 위해 UE(102)에 도달한 다음 픽업할 때 센서 데이터로부터 인식함으로써 얼굴 인증 시스템(114)에 대한 오탐을 감소시킬 수 있다. 이것은 단지 도달 범위(reach)를 인식하는 것에 응답하여 얼굴 인증 시스템(114)을 트리거하는 것과 대조적이다. 레이더 시스템(104)은 센서 데이터가 UE(102)가 조용하거나 시끄러운 환경 또는 간헐적인 통신 신호가 있는 환경에 있음을 나타낼 때 전화 호출에 응답하기 위해 레이더 기반 제스처를 게이트할 수 있다. 레이더 시스템(104)은 그 레이더 시스템(104)이 UE(102)가 사무실 위치에 있거나 사용자(120)가 제스처 인식 모델(621)을 사용하여 전화를 받기를 원할 가능성이 있는 랩탑 컴퓨터 근처의 책상에 있다고 결정할 때 자동으로 게이트를 해제하고 전화 응답 레이더 기반 제스처를 활성화한다.
UE(102)는 컨텍스트가 사용자(120)가 UE(102)를 잡고 있음을 나타내는지, 컨텍스트가 사용자(120)가 걷고 있음을 나타내는지 또는 둘 다에 대해 레이더 기반 제스처 인식을 조정할 수 있다. 컨텍스트는 UE(102)가 사용자(120)가 UE(102)를 잡고 있고 사용자(120)가 걷고 있다고 결정하는 경우 터치 독립형 제스처 인식을 위한 요구사항을 충족한다. UE(102)가 사용자(120)가 UE(102)를 잡고 있지 않고 사용자(120)가 걷고 있다고 결정하는 경우 컨텍스트는 터치 독립형 제스처 인식에 대한 요건을 충족하지 않는다. UE(102)는 근접 센서(208) 및 IMU(408)로부터의 센서 데이터가 사용자(120)가 걷고 있고 UE(102)를 잡고 있을 때 UE(102)가 검출할 것으로 예상하는 센서 데이터와 매칭하는 경우 컨텍스트가 요구사항을 충족하는 것으로 결정할 수 있다. UE(102)는 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않을 때 그 반대가 참이라고 결정하고 레이더 시스템(104)에 의해 인식되는 제스처를 폐기할 수 있다.
도달-잡기 컨텍스트에서, 사용자(120)는 UE(102)가 테이블에서 위를 향해 놓여 있을 때 UE(102) 위로 손을 뻗는다. 사용자(120)는 UE(102)를 잡기 위해 손을 뻗고 있을 수 있다. 사용자(120)는 UE(102) 너머에 있는 무언가를 잡기 위해 손을 뻗고 있을 수 있다. 1706에서 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는다고 결정하는 것은 객체가 UE(102)의 근접도내로 들어온 후에 사용자(120)가 그 UE(102)를 픽업하고 있지 않다는 결정에 응답적일 수 있다. 사용자가 도달한 후(예를 들어, 사용자(120)가 근접도내로 들어옴) UE(102)를 잡고 픽업하지 않는 경우, UE(102)는 (예를 들어, 인증 알고리즘이 얼굴 인증을 실행하는 것을 방지하기 위해) 제스처 인식 모델(621)로부터의 출력을 게이팅하여 가입자(예를 들어, 애플리케이션, 구성요소, 시스템 서비스)가 제스처의 표시를 획득하는 것을 방지한다. 1706에서 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것은 객체가 UE(102)의 근접도내로 들어온 후에 사용자(120)가 그 UE(102)를 픽업하고 있다는 결정에 응답적일 수 있다. 사용자가 도달한 후 UE(102)를 잡고 픽업하는 경우, UE(102)는 (예를 들어, 인증 알고리즘이 얼굴 인증을 실행하는 것을 가능하게 하기 위해) 제스처 인식 모델(621)로부터의 출력을 가능하게 하여 가입자가 제스처의 표시를 획득할 수 있게 한다. 이러한 방식으로 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 사용하면 도달 및 잡기 오탐을 줄일 수 있다.
주변광 센서, 기압계, 위치 센서, 광학 센서, 적외선 센서 등과 같은 센서(108)중 다른 것은 제스처 인식 및 기타 기술된 기술을 개선하기 위해 UE(102)에 신호를 제공하여 UE(102)의 컨텍스트를 추가로 정의할 수 있다. 1706에서, 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것은 위치 정보, 하루 중 시간, 기압, 주변광, 주변 오디오, 및 레이더 시스템(104)을 게이팅하거나 게이팅하지 않는 컨텍스트를 정의하기 위한 기타 센서 정보에 응답적일 수 있다. 예를 들어, 크고 빈번한 주변 소음을 감지하면서 UE(102)가 영화관 위치 근처에 있고 저조도 조건에 있다고 지정하는 컨텍스트는 레이더 기반 제스처 인식에 적합한 컨텍스트가 아니다. 반면에, 저조도 조건과 큰 주변 소음을 감지하면서 UE(102)가 기차역 근처에 있다고 지정하는 컨텍스트는 레이더 기반(예를 들어, 터치 독립) 제스처 인식에 적합한 컨텍스트이다.
동작(1706)에서, 컨텍스트가 레이더 시스템을 이용한 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는 경우, 레이더 시스템에 의해 획득된 레이더 데이터는 게이팅되고 방법은 (아래 도 18의 설명에서 기술되는) B로 진행한다. 동작(1706)에서 컨텍스트가 레이더 시스템을 이용한 레이더 기반 제스처 인식을 위한 요구사항을 충족하는 경우, 레이더 시스템에 의해 획득된 레이더 데이터는 동작 (1708)에서 상기 입력된 레이더 데이터로부터 레이더 기반 제스처를 결정하는 모델에 입력된다
1708에서, 레이더 시스템(104)에 의해 획득된 레이더 데이터를 제스처 인식 모델(621)에 입력하면 제스처 인식 모델(621)이 제스처 인식 기술을 수행하게 된다. 레이더 시스템(104)은 레이더 기반(예를 들어, 터치 독립형) 제스처 인식을 위한 충분한 해상도, 주파수, 세부사항 및 품질을 갖는 레이더 데이터를 획득하기 위해 고전력 제스처 인식 모드에서 동작할 수 있다. 레이더 시스템(104)은 근접 모드 또는 대기 모드를 포함하여 다른 모드에서 추가로 동작할 수 있다. 다중 모드 동작이 지원되는 경우, 레이더 시스템(104)은 상이한 모드가 비활성화되더라도 하나 이상의 모드에서 계속 작동할 수 있다. 예를 들어, 레이더 기반 제스처 인식을 비활성화하는 것은 레이더 시스템(104)에 의해 수행되는 레이더 기반 충돌 회피 동작에 영향을 미치지 않을 수 있다. 레이더 시스템(104)의 일부 예는 다중 모드가 아닐 수 있으므로 레이더 기반 제스처 인식을 비활성화하면 레이더 시스템(104) 전체를 비활성화할 수 있다.
컨텍스트 감지에 더하여, 제스처 인식 모델(621)은 가입자의 신원에 기초하여 게이팅 감도를 조정할 수 있다. 가입자는 제스처 인식 모델(621)의 출력을 수신하는 애플리케이션, 서비스 또는 구성요소일 수 있다. 예를 들어, 제스처 인식 모델(621)은 UE(102)의 애플리케이션 또는 구성요소(예를 들어, 인증 시스템(114), 운영 체제 기능 또는 서비스, 애플리케이션, 드라이버)가 제스처-인식 모델(621)에 등록되고 아이덴티티가 할당되는 인터페이스를 제공한다. 가입자는 상이한 컨텍스트에 적용할 게이팅 감도를 나타낸다. 가입자는 게이팅을 적용하기 위해 제스처의 유형 또는 레이더 기반 제스처의 유형을 나타낼 수 있다. 예를 들어, 운영 체제는 UE(102)의 잠금 화면 사용자 인터페이스상의 위젯을 통해 기능에 대한 액세스를 제공할 수 있다. 위젯은 레이더 기반 제스처를 인식하고 제스처 인식 모델(621)에서 출력되는 제스처 인식을 구독(subscribe)할 수 있다. 일부 컨텍스트에서, 제스처 인식 모델(621)의 출력은 제스처의 표시가 가입자에 의해 사용되는 것을 방지하기 위해 게이팅된다. 제스처 인식 모델(621)의 출력은 다른 컨텍스트에서 허용되고 제스처의 표시는 가입자에게 전송된다. 일부 컨텍스트에서, 제스처 인식 모델(621)의 출력은 한 가입자에 대해 게이팅될 수 있지만 다른 가입자에 대해서는 게이팅되지 않을 수 있다. 예를 들어, 특정 컨텍스트에서 위젯 가입자에 의해 사용되는 동일한 제스처 인식은 해당 컨텍스트에 대해 제스처를 게이트하도록 선택한 상이한 가입자에 의해 사용되지 못할 수 있다. 예를 들어 얼굴 인증 애플리케이션은 특정 조건에서 제스처 정보를 사용할 수 없지만 잠금 화면의 위젯은 사용할 수 있다.
제스처 인식 모델(621)은 가입자의 신원에 기초하여 동작(1406)에서 게이팅 감도를 선택한다. 제스처 인식 모델(621)은 가입자의 아이덴티티와 관련된 게이팅 감도에 기초하여, 컨텍스트가 레이더 시스템(104)을 통한 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정한다.
1710에서, 동작은 레이더 기반(예를 들어, 터치 독립형) 제스처를 결정하는 모델에 응답하여 수행된다. 제스처 인식 모델(621)의 출력은 레이더 데이터로부터 인식된 제스처를 나타내고, 제스처의 표시를 가입자에게 출력할 수 있다.
UE(102)는 레이더 시스템(104)의 게이팅 상태의 사용자 인터페이스 피드백을 제공할 수 있다. UE(102)는 청각적 또는 시각적 경고(예를 들어, "당신이 디바이스를 너무 많이 움직여 레이더가 당신의 제스처를 감지할 수 없습니다"), UE(102)의 조명 소자 제어, 햅틱 피드백 제공, 또는 일부 다른 사용자 인터페이스 피드백 제공과 같은 청각적 또는 시각적 표시를 사용자에게 출력할 수 있다. UE(102)는 UE(102)가 제스처 인식 모델(621)로부터의 출력을 게이팅하는지 여부를 나타내기 위해 게이팅 상태의 표시를 "게이팅" 또는 "비게이팅"으로 출력할 수 있다. 게이팅 상태의 표시는 게이팅 이유(예를 들어, 게이팅을 필요로 하는 컨텍스트적 또는 환경적 특성의 표시 제공)를 나타낼 수 있다. 게이팅 상태의 표시는 게이팅 레벨을 나타낼 수 있다(소프트 게이팅, 하드 게이팅 및 게이팅 없음을 포함하는 예시적인 게이팅 레벨에 대해 도 18 참조).
UE(102)는 사용자 인터페이스를 변경하고 다른 방식으로 사용자 인터페이스 피드백을 제공할 수 있다. 예를 들어, UE(102)가 사용 중이고 디스플레이가 켜져 있고 UE(102)가 고전력 상태에서 동작하고 있는 경우, UE(102)로부터 출력되는 사용자 인터페이스 피드백은 모션 센서 또는 다른 비-레이더 센서로부터의 센서 데이터에만 의존할 수 있다. 디스플레이가 꺼져 있거나 UE(102)가 저전력 상태에 있는 경우, 모션 센서 또는 다른 비-레이더 기반 센서를 상시-활성화 상태로 작동하는 것이 금지될 수 있다. UE(102)는 터치 독립형 제스처 인식을 위한 요구사항을 충족하는 컨텍스트를 제외하고 모션 센서 또는 다른 비-레이더 센서를 모니터링하는 것을 억제할 수 있다. 이러한 방식으로, 제스처 인식 모델(621)이 레이더 기반 제스처를 결정할 수 있는지 여부에 따라 사용자 인터페이스 피드백이 조절된다.
예를 들어, UE(102)는 레이더 시스템(104)을 소프트 또는 하드 게이팅할 때 및/또는 게이팅이 중단되고 레이더 기반 제스처 인식이 재개될 때 "제스처" 사용자 인터페이스 피드백 요소(element)를 제공할 수 있다. 제스처 사용자 인터페이스 피드백 요소는 디스플레이의 활성 영역에 나타나는 시각적 요소와 같이 사용자가 인지할 수 있는 요소이다. 제스처 피드백 요소는 또한 디스플레이에 없는 조명 소자, 햅틱 요소(예를 들어, 진동 요소), 및/또는 오디오 요소(예를 들어, 사용자가 인지가능 사운드)일 수 있고(또는 포함할 수 있음), 디스플레이의 가장자리 또는 가장자리를 따라 제시될 수 있으며, 다양한 모양, 크기, 색상 및 기타 시각적 파라미터 또는 속성을 가질 수 있다. 다른 시각적 파라미터 또는 속성의 예로는 광도, 색상, 대비, 모양, 채도 또는 불투명도가 있다.
제스처 인식 게이팅
도 18은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 이용한 레이더 기반 제스처 인식을 위한 예시적인 방법(1800)을 도시한다. 방법(1800)은 수행되는 동작들을 지정하는 블록 세트로 도시되지만 반드시 개별 블록에 의한 동작들을 수행하기 위해 도시된 순서 또는 조합으로 제한되지는 않는다. 또한, 하나 이상의 동작 중 임의의 것은 다양한 추가 및/또는 대체 방법(예를 들어, 방법 1000, 1200, 1400 및 1700)을 제공하기 위해 반복, 결합, 재구성 또는 링크될 수 있다. 다음 논의의 부분에서, 도 1의 예시적인 운영 환경(100) 또는 다른 도면에 상세히 설명된 엔티티 또는 프로세스에 대한 참조가 이루어질 수 있으며, 이는 단지 예를 들어 참조한 것이다. 이 기술은 하나의 디바이스상에서 작동하는 하나의 엔터티 또는 다중 엔터티의 수행으로 제한되지 않는다.
레이더 기반 탐지 시스템의 게이팅을 사용하기 위해 동작(1802, 1804, 1806)을 수행하기 위한 2개의 공통 시나리오가 있다. 하나의 시나리오는 레이더 시스템(104)이 객체에 의해 덮이거나 가려지는 경우이다. 레이더 시스템(104)은 UE(102)가 표면에 아래를 향하게 놓여 있거나 주머니, 지갑, 가방, 또는 다른 인클로저안에 있을 때 가려지거나 덮여질 수 있다. 다른 시나리오는 UE(102)가 상당한 움직임을 겪고 있는 경우이다. 예를 들어, UE(102)를 손에 들고 있는 사용자(120)가 달리기를 하는 경우, UE(102)는 레이더 시스템(104)으로 터치 독립형 제스처를 잘못 해석해서는 안 된다.
1802에서, 레이더 시스템(104)에 의한 레이더 기반 제스처 인식을 하드 게이트할지 여부가 결정된다. 레이더 시스템이 객체에 의해 (예를 들어, 사용자로부터) 가려졌는지 여부를 나타내는 컨텍스트가 결정된다. UE(102)는 하드 게이팅 및 소프트 게이팅을 비롯하여 컨텍스트에 기초하여 게이팅의 다중 레벨로부터 선택하고, 그에 따라 제스처 인식 모델(621)을 게이팅한다.
본 명세서에서 사용되는 바와 같이, "소프트 게이팅"이라는 용어는 레이더 기반 제스처의 표시가 레이더 시스템(104)에 의해 가입자에게 출력되는 것을 차단하는 동작을 지칭한다. 레이더 시스템(104)이 저전력 모드 또는 중간 전력 모드에서 작동하는 하드 게이팅과 달리, 소프트 게이팅은 레이더 시스템(104)의 전력 레벨에 관계없이 발생한다. 소프트 게이팅은 제스처 인식 모델(621)의 출력을 비활성화함으로써 발생할 수 있으며, 다른 경우 소프트 게이팅은 제스처 인식 모델(621)에 대한 입력을 비활성화하여 발생한다. 제스처 인식 모델(621)은 소프트 게이팅 동안 레이더 기반 제스처를 계속 인식할 수 있다. 그러나, 소프트 게이팅 동안, 레이더 시스템(104)은 인식된 제스처를 가입자(예를 들어, 애플리케이션, 스레드, 활동, 사용자 인터페이스 객체)와 공유하지 않는다. 가입자는 상위 레벨 기능을 수행하는데 사용되는 인식된 제스처의 표시를 받지 않는다.
소프트 게이팅 동안, 제스처 인식 모델(621)은 레이더 시스템(104)에 의해 수집된 레이더 데이터로부터 보호될 수 있으며, 소프트 게이팅 동안 다른 시간에, 레이더 기반 제스처 결정이 어쨌든 제스처 인식 모델(621)에 의해 이루어지지만 일부 다른 목적, 예를 들어 시스템 서비스 또는 숨겨진 기능을 위해 레이더 시스템(104)에 의해 내부적으로 사용된다. 소프트 게이팅 동안, UE(102)는 제스처 인식 모델(621)에 의해 인식된 제스처의 표시에 기초하여 여전히 하위 레벨 지원 기능을 수행할 수 있지만, 그 지원 기능은 UE(102)의 가입자 및 사용자에게 투명할 수 있다. 지원 기능에는 향후 제스처 인식 모델(621)을 소프트 게이팅하는 것의 잠재적인 레이턴시를 최소화하기 위해 게이팅 컨텍스트 동안에도 제스처에 대한 학습, 이해 및 행동이 포함된다.
소프트 게이팅은 본 명세서에서 사용되는 바와 같이 레이더 시스템(104)이 레이더 데이터로부터 제스처를 인식하지 못하는 상태에서 기능하도록 레이더 시스템(104)을 트리거하는 동작을 지칭하는 "하드 게이팅"이라는 용어와 대비된다. 제스처 인식 모델(621)은 하드 게이팅 동안 비활성화된다. 하드 게이팅 동안, 레이더 시스템(104)은 제스처 인식 외에 다른 작업에 사용될 수 있다. UE(102)가 임의의 다른 기능을 위해 레이더 시스템(104)을 필요로 하는지 여부에 따라, 레이더 시스템(104)의 다른 부분도 역시 하드 게이팅 컨텍스트 동안 비활성화되거나 비활성화되지 않을 수 있다. 따라서, 레이더 시스템(104)은 장애물 회피와 같은 레이더 기반 제스처 인식과 관련되지 않은 다른 기능을 계속 수행할 수 있지만, 레이더 시스템(104)의 제스처 인식 모델(621)은 하드 게이팅될 때 인식된 제스처들의 표시를 출력하지 않으므로 소프트 게이팅 또는 레이더 시스템(104)을 전혀 게이팅하지 않는 것에 비해 약간의 전력 소비 절감을 제공한다. 전력 소비의 절감을 제공하는 것 외에도, 하드 게이팅은 레이더 시스템(104)의 가입자가 잘못된 또는 의도하지 않은 입력에 응답하여 더 높은 수준의 기능을 수행하는 것을 방지함으로써 사용자 경험을 개선하는데 특히 유용하다.
UE(102)가 레이더 시스템(104)을 소프트 게이팅하는 경우 UE(102)는 비활성 제스처 인식 상태로부터 복구하는 개선된 레이턴시를 가질 수 있다. 하드 게이팅을 사용하면, 비활성 제스처 인식 상태(예를 들어, 레이더 시스템(104)의 제스처 인식 기능이 꺼져 있을 수 있음)로부터 복구할 때의 증가된 레이턴시가 복잡한 제스처 인식 기능을 실행하지 않거나 잘못된 입력으로 인해 상위 레벨 기능을 방해함으로써 절약되는 전력에 의해 상쇄된다. 즉, 레이더 시스템(104)을 하드 게이팅하는 것은 UE(102)가 사용자로부터 입력을 수신할 가능성이 없을 때 컨텍스트 동안 레이더 데이터로부터 제스처를 해석하는 불필요한 전력 소비를 방지하지만, UE(102)는 레이더 시스템(104)이 게이팅이 더 이상 필요하지 않을 때 정상 동작 모드로 다시 전환하도록 소프트 게이팅된 경우보다 느릴 수 있다.
1804에서, UE(102)는 터치 독립형 제스처를 결정하기 위한 제스처 인식 모델(621)에 의해 사용될 수 없는 데이터 또는 다른 데이터를 출력하지 않기 위해 레이더 시스템(104)을 중간 전력 또는 저전력 모드로 설정함으로써 하드 게이팅을 수행한다. 레이더 시스템(104)이 가려지는 경우(페색), 레이더 시스템(104)의 출력은 제스처 인식 모델(621)을 비활성화함으로써 1804에서 하드 게이트된다.
1802에서, 예를 들어 레이더 시스템(104)이 가려지지 않는 경우, 레이더 시스템의 출력은 1806에서 소프트 게이트된다. UE(102)는 레이더 시스템(104)에 의해 획득된 레이더 데이터를 제스처 인식 모델(621)에 입력하는 것을 억제함으로써 레이더 시스템(104)을 소프트 게이팅한다. 대안적으로, UE(102)는 제스처 인식 모델(621)이 인식된 제스처들의 표시를 출력하는 것을 방지함으로써 레이더 시스템(104)을 소프트 게이팅한다.
레이더 시스템(104)은 동작(1700 및 1800)의 후속 실행 동안, 컨텍스트에 따라 노(no) 게이팅, 소프트 게이팅 및 하드 게이팅 사이를 전환할 수 있다. 예를 들어, 레이더 시스템(104)을 소프트 게이팅 또는 하드 게이팅한 후, 도 18의 방법은 "A"로 돌아가 도 17의 동작(1700)을 시작한다. 레이더 시스템을 소프트 게이팅한 후, 1706, 1802에서 컨텍스트가 레이더 시스템(104)이 객체로의 근접에 의해 페색되었음을 나타내는 것으로 결정되면, 레이더 시스템(104)은 하드 게이팅된다.
게이팅 감도
도 19는 도 17 및 도 18의 방법을 구현하는 결정 트리를 도시한다. 체계(1900)의 일부는 프로세서(608), 컴퓨터 프로세서(402), 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 체계(1900)는 다양한 유형의 전자 디바이스 및 레이더 기반 애플리케이션을 지원하도록 맞춤화될 수 있다.
센서 데이터 수신(1902)은 UE(102)가 동작(1702)을 수행함에 따라 발생한다. 동작(1702)으로부터, UE(102)는 센서 데이터를 사용하여 모션 검출(1904) 및 센서 데이터에 대한 근접 검출 알고리즘을 실행하여 동작(1704) 동안 컨텍스트를 개발하는 것을 포함하며, 여기에는 레이더 시스템(104)이 페색되었는지 또는 증가된 모션 속도가 결정되는지 여부를 결정하는 것이 포함된다.
모션 검출(1904) 및 근접 검출(1906)의 감도는 디바이스 모션을 거부할 수 있는 동안 모션 게이팅 동작의 균형을 맞추기 위해 선택될 수 있다. 두 가지 일반적인 시나리오는 감도 조정의 필요성을 보여준다. 첫 번째 시나리오는 사용자(120)가 사용자 측에 휴대된 UE(102)를 가지고 천천히 걷고 자신의 몸을 지나쳐 스윙하는 경우이다. 지속적인 게이팅이 없으면 첫 번째 시나리오에서 심각한 잘못된(false) 트리거링이 발생할 수 있다. 두 번째 시나리오는 사용자(120)가 UE(102)를 들어올려 작동하는 경우이다. 상호 작용하기 위해 UE(102)를 들어올릴 때(측면으로부터, 테이블로부터, 주머니로부터 등), 자연스러운 신체 움직임의 후속 감지는 UE(102)로부터 신속한 게이팅 응답을 불러와야 한다. 사용자에게 지연된 간섭을 일으키지 않고 만족스럽게 신속하게 응답하기 위해서는 낮은 게이팅 감도가 필요하다. 게이팅 결정(1908)은 동작(1706) 동안 이루어지며, 이는 오프(1910), 소프트-게이트(1912) 또는 하드-게이트(1914)의 세 가지 게이팅 모드 중 하나로 이어진다.
게이트 상태 머신
도 20은 도 17 및 도 18의 방법을 구현하는 상태 머신(2000)에 대한 상태도를 도시한다. 상태 머신(2000)은 게이팅 상태 머신이며 레이더 시스템(104)의 일부로서 실행될 수 있다.
상태 머신(2000)은 다수의 상태(2002, 2004, 2006)를 포함하고, 각각은 개별 컨텍스트 감지형 천이 기능(2008-1 내지 2008-6)(통칭하여 "기능 2008")에 의해 링크된다. 기능(2008) 각각은 센서 데이터의 적어도 일부 또는 그 파생물을 가변 입력으로서 수신한다. 설명의 편의를 위해 상태 머신(2000)은 2002, 2004 및 2006의 세 가지 상태만 포함한다. 다른 예에서는, 3개 이상의 상태가 상태 머신(2000)에 의해 사용된다. 상태 머신(2000)은 기능(2008)에 기초하여 상태(2004, 2006) 사이를 전환한다.
상태 머신(2000)은 레이더 시스템(104)을 통한 레이더 기반 제스처 인식이 활성화되는 노-게이팅 상태(2002)를 포함한다. 소프트 게이팅 상태(2004)는 레이더 시스템(104)을 통한 레이더 기반 제스처 인식이 활성화되지만 레이더 기반 제스처 인식의 결과가 UE(102)에서 실행되는 애플리케이션 및 다른 가입자로부터 보류되는 상태이다. 하드 게이팅 상태(2006)의 경우 레이더 시스템(104)의 레이더 기반 제스처 인식 기능은 비활성화되지만 레이더 시스템(104)의 다른 기능은 활성화된 상태로 유지될 수 있다(예를 들어, 레이더 시스템(104)은 제스처 인식이 비활성화될 때 하드 게이팅 동안 충돌-회피 기능을 실행할 수 있음).
기능들(2008) 각각은 현재 컨텍스트 및 각각의 상태(2002, 2004, 2006) 사이의 호환성을 나타내는 개별 컨텍스트 스코어를 계산한다. 예를 들어, 기능(2008-3)은 현재 컨텍스트를 정의하는 센서 데이터에 기초하여 상태 머신(2000)이 소프트 게이트 상태(2004)로 천이해야 하는지 여부를 나타내는 컨텍스트 스코어를 계산한다. 기능(2008-6)은 현재 컨텍스트를 정의하는 센서 데이터에 기초하여 상태 머신(2000)이 하드 게이트 상태(2006)로 전환해야 하는지 여부를 나타내는 컨텍스트 스코어를 계산한다. 상태 머신(2000)은 노-게이트 상태(2000)에서 소프트-게이트 상태(2004) 또는 하드-게이트 상태(2006)로 천이하는데, 이는 두 상태(2004 또는 2006) 중 어느 하나가 천이 임계값을 충족하는 컨텍스트 스코어를 갖는지에 기초한다. 각각의 기능(2008-3 및 2008-6)이 상태 머신(2000)을 다음 상태로 천이하기 위해 천이 임계값을 충족하는 컨텍스트 스코어를 계산하면, 상태 머신(2000)은 가장 높은 컨텍스트 스코어를 갖는 다음 상태로 천이할 수 있다.
노-게이팅 상태(2002)에 있을 때, 레이더 시스템(104)의 상태 머신(2000)은 센서(108)로부터 센서 데이터를 수신한다. 기능(2008-3 및 2008-6)은 센서 데이터를 입력으로 사용하여 센서 데이터가 소프트 게이팅 상태(2004) 또는 하드 게이팅 상태(2006)에 진입하기 위한 요구사항을 각각 충족하는지 여부를 나타내는 컨텍스트 스코어를 계산한다. 기능(2008-3)은 도 18의 동작(1802)으로부터의 "아니오" 결과로 대응한다. 기능(2008-6)은 도 18의 동작(1802)으로부터의 "예" 결과로 대응한다. 기능(2008-3 및 2008-6) 중 컨텍스트 스코어가 개별 천이 임계값을 충족하지 않는 경우, 상태 머신(2000)은 노-게이팅 상태(2002)로 유지된다.
센서 데이터가 사용자(120)가 UE(102)를 잡고 UE(102)를 보고 있음을 나타내는 컨텍스트에서, 상태 머신(2000)은 노-게이팅 상태(2002)에서 동작하는 제스처 인식 모드에서 레이더 시스템(104)을 유지한다. 사용자(120)가 UE(102)를 떨어뜨리거나 UE(102)를 실질적으로 안정되게 유지하지 않고 다른 사람과 이야기하기 위해 UE(102)로부터 시선을 돌리면, 기능(2008-3)은 소프트 게이팅 상태(2004)로의 전환을 위한 개별 천이 임계값을 초과하는 컨텍스트 스코어를 계산할 수 있다. UE(102)는 레이더 기반 사용자 입력의 검출을 재개할 준비가 되어 있기를 원할 수 있으므로, 사용자가 UE(102)로부터 일시적으로 연계를 해제하는 이와 같은 상황에서, 사용자(120)가 UE(102)를 되돌아보면 UE(102)는 노-게이팅 상태(2002)로 신속하게 복귀할 수 있고; 이에 의해 소프트 게이팅은 UE(102)에 대한 사용자 경험을 향상시킨다. 상태 머신(2000)은 소프트 게이팅 상태(2004)로 전환하고 레이더 시스템(104)을 통한 레이더 기반 제스처 인식을 계속 가능하게 하지만, 상태 머신(2000)은 레이더 시스템(104)이 제스처 인식의 결과를 UE(102)에서 실행하는 애플리케이션으로 출력하는 것을 방지한다.
센서 데이터가 사용자(120)가 UE(102)를 사용자(120) 측에 떨어뜨리면서 다른 사람과 이야기하기 위해 UE(102)로부터 시선을 돌리거나 UE(102)를 실질적으로 안정되게 유지하지 않는다는 것을 나타내는 약간 다른 컨텍스트에서, 다시 노-게이팅 상태(2002)부터 시작한다. 기능(2008-6)은 하드 게이팅 상태(2006)로의 천이를 위한 개별 천이 임계값을 초과하는 컨텍스트 스코어를 계산할 수 있다. 레이더 시스템(104)은 계속해서 UE(102)에 대한 다른 레이더 동작을 수행할 수 있지만, 레이더 시스템(104)의 레이더 기반 제스처 인식 기능은 하드 게이팅 상태에서 비활성화된다. 따라서 하드 게이팅은 제스처 인식이 필요하지 않을 것 같은 경우 제스처 인식이 비활성화된 상태에 레이더 상태(104)를 두어 절전을 촉진한다.
소프트 게이팅 상태(2004)로 천이한 후, 업데이트된 센서 데이터가 센서(108) 및 레이더 시스템(104)으로부터 수신된다. 상태 머신(2000)은 기능(2008-1 및 2008-4)을 사용하여 개별 컨텍스트 스코어를 계산한다. 기능(2008-1)은 도 17의 동작(1706)으로부터의 "예" 결과에 대응한다. 기능(2008-4)은 도 18의 동작(1802)으로부터의 "예" 결과에 대응한다. 기능(2008-1)의 컨텍스트 스코어가 노-게이팅 상태(2002)로의 천이을 위한 천이 임계값을 초과하는 경우, 상태 머신(2000)은 노-게이팅 상태(2002)로 천이한다. 기능(2008-4)의 컨텍스트 스코어가 하드 게이팅 상태(2006)로 천이하기 위한 천이 임계값을 초과하는 경우 상태 머신(2000)은 하드 게이팅 상태(2006)로 천이한다. 기능(2008-1 및 2008-1)의 컨텍스트 스코어가 모두 개별 천이 임계값을 초과하면, 상태 머신(2000)은 다른 기능의 컨텍스트별 스코어보다 더 높은 컨텍스트별 스코어와 관련된 상태(2002 또는 2006)로 천이할 수 있다. 기능(2008-4)의 컨텍스트 스코어가 기능(2008-1)의 컨텍스트 스코어 및 소프트 게이팅 상태(2004)에서 하드 게이팅 상태(2006)로의 천이와 관련된 천이 임계값을 초과한다고 가정한다.
하드 게이팅 상태(2006)로 천이한 후, 업데이트된 센서 데이터가 센서들(108) 및 레이더 시스템(104)으로부터 수신된다. 상태 머신(2000)은 기능(2008-2 및 2008-5)을 사용하여 개별 컨텍스트 스코어를 계산한다. 기능(2008-2)은 도 18의 동작(1802)으로부터의 "아니오" 결과에 대응한다. 기능(2008-5)은 도 17의 동작(1706)으로부터의 "예" 결과에 대응한다. 기능(2008-5)의 컨텍스트 스코어가 노-게이팅 상태(2002)로 천이하기 위한 천이 임계값을 초과하는 경우, 상태 머신(2000)은 노-게이팅 상태(2002)로 천이한다. 기능(2008-2)의 컨텍스트 스코어가 소프트 게이팅 상태(2004)로 천이하기 위한 천이 임계값을 초과하는 경우, 상태 머신(2000)은 소프트 게이팅 상태(2004)로 천이한다. 기능(2008-2 및 2008-5)의 컨텍스트 스코어가 모두 개별 천이 임계값을 초과하는 경우, 상태 머신(2000)은 다른 기능의 컨텍스트 스코어보다 더 높은 컨텍스트 스코어와 관련된 상태(2002 또는 2004)로 천이할 수 있다.
상태 머신(2000)은 기계 학습된 모델에 의해 만들어진 추론에 기초하여 기계 학습되거나 구동될 수 있다. 기계 학습 모델은 센서 데이터 또는 현재 컨텍스트를 정의하는 다른 입력에 기초하여 레이더 시스템(104)에 대한 적절한 게이팅 상태를 예측하도록 트레이닝된다. 예를 들어, 기능(2008)은 컨텍스트 스코어를 계산하기 위해 현재 컨텍스트에 대한 기계 학습 규칙 또는 애플리케이션 또는 기계 학습 모델일 수 있다. 달리 말하면, 기능들(2008) 각각은 다음 레이더 상태 또는 현재 컨텍스트를 다음 레이더 상태와 동일시하는 컨텍스트 스코어를 예측하도록 트레이닝된 기계 학습 모델 또는 기계 학습 모델의 인스턴스일 수 있다.
다른 컨텍스트 감지형 제어
위에서 매우 상세하게 설명된 바와 같이, 레이더 시스템(104)은 레이더 시스템(104)을 게이트하거나 레이더 시스템(104)을 게이트하지 않기 위해 UE(102)의 컨텍스트 및 사용자(120)의 위치 및 포지션에 대한 인식에 의존한다. 컨텍스트 감지형 게이팅에 적용되는 이러한 동일한 기술은 레이더 시스템(104) 및 레이더 기능에 의존하는 다른 컨텍스트 감지형 제어에 적용될 수 있다.
UE(102)는 또한 사용자(120)의 연계 의도를 예측하기 위해 레이더 시스템(104) 및 다른 센서(108)를 사용할 수 있다. UE(102)의 컨텍스트는 사용자와 관련될 수 있는데, 이는 UE(102)로부터 사용자(120)까지의 거리를 나타내고, 사용자(120)가 UE(102)를 향해 이동하는지 또는 그로부터 멀어지는지 여부를 나타내고, 사용자(120)가 UE(102)에 도달하고 있는지 여부를 나타내고, 그리고 UE(102)와 관련된 사용자(120)의 자세 또는 방향을 나타낸다.
레이더 시스템(104)은 제스처 인식, 근접 감지 및 다른 레이더 기능이 수행되는 방식을 재구성하여 현재 컨텍스트에 가장 적합하도록 각 레이더 기능을 조정한다. 예를 들어, 사용자(120)와 UE(102)가 중간 크기의 방에 있을 때 상태 머신(2000)의 상이한 상태(2002, 2004, 2006) 사이를 천이하기 위한 기능(2008)에 프로그래밍된 거리 및 감도는 일부 컨텍스트에서 적절하지 않을 수 있다. 사용자(120)와 UE(102)가 더 작은 방, 자동차 또는 심지어 원래 예측한 것과 다른 수의 사람들이 있는 중간 크기의 방에 있는 경우, 상이한 상태(2002, 2004, 2006) 사이를 천이하기 위한 기능(2008)은 새로운 컨텍스트에 맞게 변경 또는 적응된다. 달리 말하면, 상태 머신(2000)은 컨텍스트의 변경에 기초하여 기준을 동적으로 변경하는 기능(2008)과 같은 천이 기능을 포함할 수 있다. 그에 따라 기능(2008)의 결과도 마찬가지로 변경될 수 있다. 이용 가능한 신호, 센서, 또는 다른 데이터의 입력에 기초하여, 상태 머신(2000)은 기능들(2008)에 대한 파라미터를 조정할 수 있고 그에 의해 UE(102)의 기능을 조정할 수 있다. 위에서 언급한 바와 같이, 기능(2008)은 특정 상태가 현재 컨텍스트에 적합하다는 신뢰도 또는 스코어를 예측하도록 트레이닝된 기계 학습 모델 또는 기계 학습 모델의 일부일 수 있다. 다음은 레이더 시스템(104)이 현재 컨텍스트에 가장 적합하도록 레이더 기능을 동적으로 적응시키는 방법의 일부 비제한적인 예이다.
상태 머신(2000)은 센서들(108)의 IMU에 의해 생성된 관성 데이터에 기초하여 레이더 시스템(104)을 일시정지(예를 들어, 소프트-게이트, 하드-게이트)할 수 있다(또는 레이더 시스템(104)을 슬립 모드에 둘 수 있다). 관성 데이터는 UE(102)가 레이더 기반 제스처 인식뿐만 아니라 다른 레이더 기능을 수행하는 레이더 시스템(104) 기능의 정확성 또는 효율성을 감소시킬 수 있는 방식으로 UE(102)가 이동하고 있음을 나타낸다. IMU의 관성 데이터에는 X, Y 및 Z축 움직임 정보가 포함될 수 있다. 상태 머신(2000)은 상태 머신(2000)이 상태(2002, 2004, 2006) 사이를 천이하기 위해 함수들(20008)에 입력하는 부동 소수점 값으로 3가지 움직임을 결합한다.
상태 머신(2000)은 센서들(108)에 의해 생성된 다른 비-IMU 센서 데이터, 또는 임의의 다른 데이터 소스에 의해 생성된 임의의 다른 유용한 정보에 기초하여 레이더 시스템(104)을 제어한다(또는 레이더 시스템(104)를 슬립 모드에 둔다). 예를 들어, UE(102)는 캘린더 애플리케이션, 시계 애플리케이션, 위치 서비스, 근접 서비스, 통신 서비스, 금융 서비스, 또는 임의의 다른 컨텍스트 데이터 소스를 포함할 수 있다. UE(102)에서 실행되는 가입자 애플리케이션은 가입자 애플리케이션이 레이더 시스템(104)에 의해 인식되는 제스처 입력의 표시를 수신할 수 있는 것과 마찬가지로 컨텍스트 정보를 레이더 시스템(104)에 제공할 수 있다.
이러한 모든 잠재적인 정보 소스는 상태 머신(2000) 및 기능들(2008)에 공급하여 레이더 시스템(104)이 일시 중지되거나 게이트(차단)되어야 하는지 여부를 결정할 수 있다. 추가적으로, 시스템은 어떤 애플리케이션이 실행되고 있는지 알 수 있는데, 이는 UE(102)의 컨텍스트 인식을 더욱 개선하고 UE(102)가 일시 중지 모드에 관한 결정을 내리는 것을 도울 수 있다.
레이더 시스템(104)에 의한 컨텍스트 인식은 UE(102)가 컨텍스트에 따라 다수의 이용 가능한 레이더 상태 또는 모드를 변경할 수 있게 한다. 예를 들어, 자동차 컨텍스트에서, 레이더 시스템(104)은 노-게이팅 또는 소프트-게이팅 모드에 있을 필요가 있는데, 그 이유는 전력 소비에 관계없이 최대 응답성은 자동차 모드(자동차의 전원에 있는 경우)에 있을 때 UE(102)의 바람직한 특성이기 때문이다. 예를 들어, 레이더 시스템(104)은 사용자(120)가 불과 몇 피트 떨어져 있기 때문에(자동차에 국한됨) 사용자가 없을 때 하드 게이팅하거나 UE(102)와 상호 작용할 가능성이 없을 때 전력을 절약할 필요가 없다고 가정하기 때문에 두 가지 상태만 필요하다.
레이더 시스템(104)에 의한 컨텍스트 인식은 게이팅 상태들과, 예를 들어 인지 영역 또는 인식 영역의 크기, 도달 또는 기타 제스처의 거리 또는 속도 변화에 대한 감도 등과 같은 레이더 시스템(104)의 다른 레이더 모드들 사이의 트리거 파라미터를 조정하기 위해 동적 기능들(2008) 또는 심지어 기계 학습 모델들에 의존한다. 레이더 시스템(104)의 다른 기능은 컨텍스트 기반일 수 있다. 자동차에 혼자 있는 사용자와 지하철이나 붐비는 회의실에 있는 사용자를 생각해 보자. 레이더 시스템(104)은 상이한 감도, 피드백 및 특징을 사용하여 레이더 기반 제스처를 결정할 수 있는데, 그 이유는 이와 같은 특정 설정이 상이한 컨텍스트에서 더 효과적일 수 있기 때문이다.
레이더 시스템(104)을 제어하기 위한 컨텍스트 인식은 다른 방식으로 유용할 수 있다. 예를 들어, 보관 컨텍스트에서, 예를 들어 자전거상의 UE(102)를 검출하는 것에 응답하여, 레이더 시스템(104)은 충돌 회피 레이더 모드에 대해 자동으로 구성하고 제스처 인식을 비활성화할 수 있다.
레이더 시스템(104)은 안정적일 때 더 효과적일 수 있다. 센서들(108)로부터의 센서 데이터가 UE(102)가 너무 큰 크기 또는 주파수의 흔들림이나 진동으로 흔들리거나 진동하고 있음을 나타내는 경우, 레이더 시스템(104)은 레이더 기반 제스처 인식 및 기타 레이더 기능을 자동으로 비활성화한다. 이것은 UE(102)가 안정적이지 않고 흔들릴 때 레이더 시스템(104)이 유용한 결과를 제공할 가능성이 없기 때문에 불필요한 컴퓨팅 및 측정 사이클을 많이 절약한다.
UE(102)에 대한 컨텍스트 정보 소스는 UE(102)에 원격일 수 있고, 예를 들어, UE(102)와 쌍을 이루는 컴퓨터화된 시계의 센서 또는 입력 구성요소는 센서들(108)로부터 수집된 센서 데이터를 보완하는 센서 정보의 추가 소스일 수 있다. 이 경우, 레이더 시스템(104)은 통신적으로 결합된 시계로부터의 센서 데이터에 기초하여 레이더 기능을 게이트하거나 제어할 수 있다. 센서 데이터에는 심박수 정보가 포함될 수 있다. 사용자의 심박수가 운동 또는 격렬한 신체 움직임을 나타내는 특정 임계값을 초과하는 경우, 레이더 시스템(104)은 레이더 기반 제스처 인식 또는 레이더 시스템(104)의 다른 특징을 비활성화할 수 있는데, 이는 사용자가 운동할 때는 UE(102)에 제스처할 가능성이 없기 때문이다.
센서(108)로부터의 주변광 센서는 UE(102)의 컨텍스트가 저조도 영역에 있을 때를 나타내는 센서 데이터를 캡처한다. 이러한 컨텍스트에서, 레이더 시스템(104)은 사용자(120)가 UE(102)와 상호작용하는 데 어려움을 겪을 것이라는 가정하에 동작하고 따라서 레이더 시스템(104)은 조잡한 입력에 대해 자신의 인터페이스를 더 관대하게 만든다.
센서들(108)중 근접 센서, 예를 들어, 광학 근접 센서는 레이더 시스템(104)이 가려질 때 제스처 인식이 비활성화되는 상태에 들어가거나 스위치 오프하도록 레이더 시스템(104)을 트리거할 수 있다. 무선 신호, 전원 연결, 네트워크 연결, 및 UE(102)에 대한 다른 연결은 레이더 시스템(104)을 제어하기 위한 추가 컨텍스트 정보를 제공할 수 있다. UE(102)에 전력을 공급하는 충전 케이블, 도킹 스테이션 또는 무선 충전 시스템을 검출하는 것에 응답하여, 레이더 시스템(104)은 UE(102)가 충전될 때 전력 소비를 처리할 필요가 없고 사용자(120)가 레이더 시스템(104)으로부터 더 빠른 응답 속도를 원할 가능성이 더 높기 때문에 하드 게이팅 상태(2006)에 들어가는 것을 억제한다. 관련된 예에서, 무선 충전 시스템에 연결될 때, 레이더 시스템(104)은 무선 충전기들의 간섭을 피하기 위해 그의 기능의 대부분을 비활성화할 수 있다. 레이더 시스템(104)은 UE(102)에 의해 송신 또는 수신되는 통신 및 다른 신호의 간섭을 피하기 위해 비활성 모드에서 동작할 수 있다.
레이더 시스템(104)은 센서들(108) 중 하나 이상에 작동 가능하게 결합될 수 있고 센서들(108)로부터 직접 수신된 정보 또는 인터럽트에 응답하여 트리거할 수 있다. 예를 들어, 근거리 통신 유닛 또는 NFC 센서는 NFC가 결제 또는 다른 인증 제스처를 처리할 때 레이다 시스템(104)이 노-게이팅 모드로 들어가도록 트리거할 수 있다.
레이더 시스템(104)은 다른 입력 구성요소와 협력하여 스위치-온 또는 스위치-오프할 수 있다. 예를 들어, 사용자(120)는 UE(102)의 터치 스크린에 입력을 제공할 수 있고, 터치 스크린에서 입력을 검출하는 동안, 레이더 시스템(104)은 제스처 인식을 비활성화할 수 있다. 다른 경우에, 레이더 시스템(104)은 스위치-온 상태를 유지하고 인식된 제스처에 관한 정보를 터치스크린 데이터와 레이더 데이터를 동시에 처리하여 사용자 의도를 추론하는 입력 디코더에 전송함으로써 터치스크린 기능을 향상시킨다. 이러한 방식으로, 레이더 시스템(104) 및 터치스크린은 사용자(120)가 일부 존재 감지 스크린을 방해할 수 있는 터치 입력을 제공하는 동안 장갑을 착용하더라도 소프트 키보드에서의 타이핑 또는 GUI에 대한 다른 입력을 인식할 수 있다.
레이더 시스템(104)은 온도, 습도, 압력 등을 포함하는 다른 컨텍스트 정보에 기초하여 레이더 기능을 제어할 수 있다. 레이더 시스템(104)은 기상 조건의 변동에 대해 발생할 수 있는 성능 변동을 설명하기 위해 특정 설정을 사용할 수 있다. 음성 또는 소리 정보를 사용하여 레이더 시스템(104)은 레이더 기능을 제어하고 음성 명령에 기초하여 기능을 활성화 또는 비활성화할 수 있다.
예시
다음 단락에서 예시가 제공된다.
예시 1. 레이더 기반 제스처 인식의 컨텍스트 감지형 제어 방법으로서, 방법은 사용자 장비(UE)의 복수의 센서로부터, 센서 데이터를 수신하는 단계; 센서 데이터에 기초하여, 사용자 장비의 컨텍스트를 결정하는 단계; 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 및 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는다는 결정에 응답하여, 레이더 시스템이 사용자 장비의 애플리케이션 가입자들에게 레이더 기반 제스처들의 표시를 출력하는 것을 방지하기 위해 레이더 시스템을 게이팅하는 단계를 포함한다.
예시 2: 예시 1에 있어서, 레이더 시스템을 게이팅하는 단계는 레이더 시스템이 레이더 데이터로부터 제스처들을 인식하지 못하는 상태에서 레이더 시스템이 기능하도록 트리거함으로써 레이더 시스템을 하드 게이팅하는 단계를 포함한다.
예시 3: 예시 2에 있어서, 레이더 시스템을 하드 게이팅하는 단계는 컨텍스트가 레이더 시스템이 객체에 의해 가려져 있음을 나타낸다는 결정에 더 응답한다.
예시 4: 예시 1에 있어서, 레이더 시스템을 게이팅하는 단계는 레이더 시스템이 레이더 기반 제스처들의 표시를 출력하지 않는 상태에서 레이더 시스템이 기능하도록 트리거함으로써 레이더 시스템을 소프트 게이팅하는 단계를 포함한다.
예시 5: 예시 4에 있어서, 레이더 시스템을 소프트 게이팅하는 단계는 컨텍스트가 레이더 시스템이 객체에 의해 가려지지 않음을 나타낸다는 결정에 더 응답한다.
예시 6: 예시 4에 있어서, 레이더 시스템이 레이더 기반 제스처들의 표시를 사용자 장비의 애플리케이션 가입자들에게 출력하는 것을 방지하기 위해 레이더 시스템을 소프트 게이팅하는 것은 레이더 시스템이 레이더 데이터로부터 레이더 기반 제스처들을 인식하는 것을 금지하지 않는다.
예시 7: 예시 4에 있어서, 레이더 시스템을 소프트 게이팅한 후, 컨텍스트가 레이더 시스템이 객체에 의해 가려져 있음을 나타낸다고 결정하는 단계; 및 컨텍스트가 레이더 시스템이 객체에 의해 가려져 있음을 나타낸다고 결정하는 것에 응답하여, 레이더 시스템이 레이더 데이터로부터 제스처들을 인식하지 못하는 상태에서 레이더 시스템이 기능하도록 트리거함으로써 레이더 시스템을 하드 게이팅하는 단계를 더 포함한다.
예시 8: 예시 1에 있어서, 컨텍스트는 제1 컨텍스트이고, 그리고 센서 데이터는 제1 센서 데이터이며, 상기 방법은 복수의 센서로부터, 제2 센서 데이터를 수신하는 단계; 제2 센서 데이터에 기초하여, 사용자 장비의 제2 컨텍스트를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 응답하여, 입력된 레이더 데이터로부터 레이더 기반 제스처들을 결정하는 모델에 레이더 시스템에 의해 획득된 레이더 데이터를 입력하는 단계; 및 레이더 기반 제스처를 결정하는 모델에 응답하여 동작을 수행하는 단계를 더 포함하고, 상기 동작은 결정된 레이더 기반 제스처와 연관된다.
예시 9: 예시 8에에 있어서, 레이더 시스템에 의해 획득된 레이더 데이터를 레이더 기반 제스처 인식을 위한 모델에 입력하는 단계는 레이더 시스템을 게이팅하는 것을 억제하는 단계 및 레이더 시스템을 레이더 기반 제스처 인식을 위한 활성 상태로 설정하는 단계를 포함한다.
예시 10: 예시 1 내지 예시 9중 어느 하나에 있어서, 레이더 시스템은 센서 데이터의 적어도 일부를 생성하기 위한 근접 센서로 구성된다.
예시 11: 예시 1 내지 예시 10중 어느 하나에 있어서, 컨텍스트가 레이더 시스템을 통한 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 컨텍스트가 사용자가 사용자 장비를 잡고 있음을 나타내는지 여부 또는 컨텍스트가 사용자가 걷고 있음을 나타내는지 여부를 결정하는 단계를 포한다.
예시 12: 예시 11에 있어서, 사용자가 사용자 장비를 잡고 있지 않고 사용자가 걷고 있다는 결정에 응답하여; 또는 레이더 시스템이 객체에 의해 가려져 있다는 결정에 응답하여, 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는다고 결정하는 단계를 더 포함한다.
예시 13: 예시 11에 있어서, 센서 데이터가 특정 움직임을 나타내는지 여부에 기초하여, 사용자가 사용자 장비를 잡고 있는지 여부, 사용자가 사용자 장비를 잡고 있는 방법 또는 사용자가 걷고 있는지 여부를 결정하는 단계를 더 포함한다.
예시 14: 예시 1 내지 예시 13중 어느 하나에 있어서, 레이더 기반 제스처 인식의 애플리케이션 가입자의 신원을 결정하는 단계; 가입자의 신원에 기초하여, 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하기 위한 게이팅 감도를 선택하는 단계를 더 포함하고, 컨텍스트가 레이더 시스템을 통한 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 가입자의 신원과 연관된 게이팅 감도에 기초한다.
예시 15: 예시 14에 있어서, 게이팅 감도는 애플리케이션 가입자들 중 하나에 의해 미리 선택된 레이더 기반 제스처의 유형에 특정된다.
예시 16: 예시 1 내지 예시 15중 어느 하나에 있어서, 레이더 기반 제스처를 결정하는 모델에 응답하여 사용자 장비의 상태를 변경하는 단계를 더 포함하고, 사용자 장비의 상태는 액세스 상태, 전력 상태 또는 정보 상태를 포함한다.
예시 17: 예시 1 내지 예시 16중 어느 하나에 있어서, 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 센서 데이터의 적어도 일부를 가변 입력으로서 수신하는 개별 컨텍스트 감지형 천이 기능에 의해 링크된 다중 상태를 포함하는 상태 머신을 실행하는 단계를 포함한다.
예시 18: 예시 17에 있어서, 상태 머신은 레이더 시스템을 통한 레이더 기반 제스처 인식이 활성화된 노-게이팅 상태와, 레이더 시스템을 통한 레이더 기반 제스처 인식이 활성화되지만 레이더 기반 제스처 인식의 결과가 사용자 장비에서 실행 중인 애플리케이션 및 다른 가입자들로부터 보류되는 소프트-게이팅 상태와, 그리고 레이더 기반 제스처 인식이 비활성화되는 하드-게이팅 상태를 포함한다.
예시 19: 예시 1 내지 예시 18 중 어느 하나에 있어서, 복수의 센서는 관성 측정 장치를 포함한다.
예시 20: 예시 1 내지 예시 19 중 어느 하나에 있어서, 복수의 센서는 카메라 센서를 제외한다.
예시 21: 예시 1 내지 예시 20 중 어느 하나에 있어서, 복수의 센서는 근접 센서, 주변 광 센서, 마이크로폰 또는 기압계를 포함한다.
예시 22: 예시 21에 있어서, 근접 센서는 광학적 근접 센서이다.
예시 23: 예시 1에 있어서, 컨텍스트는 제1 컨텍스트이고, 그리고 센서 데이터는 제1 센서 데이터이며, 상기 방법은 복수의 센서로부터, 제2 센서 데이터를 수신하는 단계; 제2 센서 데이터에 기초하여, 사용자 장비의 제2 컨텍스트를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 응답하여, 레이더 기반 제스처들의 표시를 사용자 장비의 애플리케이션 가입자들에게 출력하는 단계를 더 포함한다.
예시 24: 예시 23에 있어서, 제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 추가로 응답하여: 입력된 레이더 데이터로부터 레이더 기반 제스처들을 결정하는 모델에 레이더 시스템에 의해 획득된 레이더 데이터를 입력하는 단계; 및 모델로부터, 레이더 기반 제스처들의 표시를 애플리케이션 가입자들에게 출력하는 단계를 더 포함한다.
예시 25: 예시 1, 23 및 24 중 어느 하나에 있어서, 복수의 센서는 관성 측정 장치를 포함한다.
예시 26: 예시 1 및 예시 23-25 중 어느 하나에 있어서, 복수의 센서는 카메라 센서를 제외한다.
예시 27: 예시 1 및 예시 23-28 중 어느 하나에 있어서, 복수의 센서는 근접 센서, 주변광 센서, 마이크로폰 또는 기압계를 포함한다.
예시 28: 예시 1 및 예시 23-28 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 사용자가 사용자 장비를 잡고 있는지 여부, 사용자가 사용자 장비를 잡고 있는 방향 또는 사용자가 걷고 있는지 여부를 결정하는 단계를 포함하고; 그리고 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 사용자가 사용자 장비를 잡고 있는지 여부, 사용자가 사용자 장비를 잡고 있는 방향 또는 사용자가 걷고 있는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함한다.
예시 29: 예시 1 및 예시 23-28 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 레이더 시스템이 객체에 의해 가려지는지 여부를 결정하는 단계를 포함하고; 그리고 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 레이더 시스템이 객체에 의해 가려지는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함한다.
예시 30: 예시 1 및 예시 23-29 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 센서 데이터에 기초하여 결정된 주변광이 저조도 조건을 나타내는지 여부를 결정하는 단계를 포함하고; 그리고 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 센서 데이터에 기초하여 결정된 주변광이 저조도 조건을 나타내는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함한다.
예시 31: 예시 1 및 예시 23-30 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 유선 또는 무선 충전 시스템이 사용자 장비에 전원을 공급하고 있는지 여부를 결정하는 단계를 포함하고; 그리고 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 유선 또는 무선 충전 시스템이 사용자 장비에 전원을 공급하고 있는지 여부를 결정하는 것에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함한다.
예시 32: 예시 1 및 예시 23-31 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 사용자 장비에 의해 수신된 무선 신호를 결정하는 단계를 포함하고, 상기 방법은 사용자 장비에 의해 수신된 무선 신호에 대한 간섭을 방지하기 위해 레이더 시스템의 설정을 조정하는 단계를 더 포함한다.
예시 33: 예시 1 및 예시 23-32 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 기상 조건의 변화를 결정하는 단계를 포함하고, 상기 방법은 레이더 기반 제스처를 인식하는 동안 기상 조건을 설명하기 위해 레이더 시스템의 설정을 조정하는 단계를 더 포함한다.
예시 34: 예시 1 및 예시 23-33 중 어느 하나에 있어서, 사용자 장비의 컨텍스트를 결정하는 단계는 입력이 존재 감지형 디스플레이에서 감지되는지 여부를 결정하는 단계를 포함하고; 그리고 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 입력이 존재 감지형 디스플레이에서 감지되는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함한다.
예시 35: 시스템은 예시 1 내지 예시 34 중 어느 하나의 방법을 수행하기 위한 수단을 포함한다.
예시 36: 장치는 예시 1 내지 예시 34 중 어느 하나의 방법을 수행하도록 구성된다.
결론
컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 통한 레이더 기반 제스처 인식을 위한 기술 및 이를 가능하게 하는 디바이스의 구현들이 특징 및/또는 방법에 특정한 언어로 설명되었지만, 첨부된 청구범위의 주제가 설명된 특정 특징 또는 방법에 반드시 제한되지 않음을 이해해야 한다. 오히려, 특정 특징 및 방법은 컨텍스트 감지형 게이팅 및 다른 컨텍스트 감지형 제어를 통한 레이더 기반 제스처 인식을 가능하게 하는 예시적인 구현으로 개시된다.
Claims (15)
- 레이더 기반 제스처 인식의 컨텍스트 감지형 제어 방법으로서, 상기 방법은,
사용자 장비(UE)의 복수의 센서로부터, 센서 데이터를 수신하는 단계;
센서 데이터에 기초하여, 사용자 장비의 컨텍스트를 결정하는 단계;
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계; 및
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하지 않는다는 결정에 응답하여, 레이더 시스템이 사용자 장비의 애플리케이션 가입자들에게 레이더 기반 제스처들의 표시를 출력하는 것을 방지하기 위해 레이더 시스템을 게이팅(gating)하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항에 있어서,
컨텍스트는 제1 컨텍스트이고, 그리고 센서 데이터는 제1 센서 데이터이며, 상기 방법은,
복수의 센서로부터, 제2 센서 데이터를 수신하는 단계;
제2 센서 데이터에 기초하여, 사용자 장비의 제2 컨텍스트를 결정하는 단계;
제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계;
제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 응답하여, 레이더 기반 제스처들의 표시를 사용자 장비의 애플리케이션 가입자들에게 출력하는 단계를 더 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제2항에 있어서,
제2 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족한다고 결정하는 것에 추가로 응답하여:
입력된 레이더 데이터로부터 레이더 기반 제스처들을 결정하는 모델에 레이더 시스템에 의해 획득된 레이더 데이터를 입력하는 단계; 및
모델로부터, 레이더 기반 제스처들의 표시를 애플리케이션 가입자들에게 출력하는 단계를 더 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
복수의 센서는 관성 측정 장치를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
복수의 센서는 카메라 센서를 제외하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
복수의 센서는 근접 센서, 주변광 센서, 마이크로폰 또는 기압계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 사용자가 사용자 장비를 잡고 있는지 여부, 사용자가 사용자 장비를 잡고 있는 방향 또는 사용자가 걷고 있는지 여부를 결정하는 단계를 포함하고; 그리고
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 사용자가 사용자 장비를 잡고 있는지 여부, 사용자가 사용자 장비를 잡고 있는 방향 또는 사용자가 걷고 있는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 레이더 시스템이 객체에 의해 가려지는지 여부를 결정하는 단계를 포함하고; 그리고
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 레이더 시스템이 객체에 의해 가려지는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 센서 데이터에 기초하여 결정된 주변광이 저조도 조건을 나타내는지 여부를 결정하는 단계를 포함하고; 그리고
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 센서 데이터에 기초하여 결정된 주변광이 저조도 조건을 나타내는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 유선 또는 무선 충전 시스템이 사용자 장비에 전원을 공급하고 있는지 여부를 결정하는 단계를 포함하고; 그리고
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 유선 또는 무선 충전 시스템이 사용자 장비에 전원을 공급하고 있는지 여부를 결정하는 것에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 사용자 장비에 의해 수신된 무선 신호를 결정하는 단계를 포함하고, 상기 방법은,
사용자 장비에 의해 수신된 무선 신호에 대한 간섭을 방지하기 위해 레이더 시스템의 설정을 조정하는 단계를 더 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 기상 조건의 변화를 결정하는 단계를 포함하고, 상기 방법은,
레이더 기반 제스처를 인식하는 동안 기상 조건을 설명하기 위해 레이더 시스템의 설정을 조정하는 단계를 더 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
사용자 장비의 컨텍스트를 결정하는 단계는 입력이 존재 감지형 디스플레이에서 감지되는지 여부를 결정하는 단계를 포함하고; 그리고
컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계는 입력이 존재 감지형 디스플레이에서 감지되는지 여부에 기초하여 상기 컨텍스트가 레이더 기반 제스처 인식을 위한 요구사항을 충족하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 감지형 제어 방법. - 제1항 내지 제13항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 시스템.
- 제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 구성된 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962879361P | 2019-07-26 | 2019-07-26 | |
| US62/879,361 | 2019-07-26 | ||
| US201962894566P | 2019-08-30 | 2019-08-30 | |
| US62/894,566 | 2019-08-30 | ||
| PCT/US2019/053676 WO2021021224A1 (en) | 2019-07-26 | 2019-09-27 | Context-sensitive control of radar-based gesture-recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210145281A true KR20210145281A (ko) | 2021-12-01 |
Family
ID=78900100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217036641A KR20210145281A (ko) | 2019-07-26 | 2019-09-27 | 레이더 기반 제스처 인식의 컨텍스트 감지형 제어 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4004687A1 (ko) |
| JP (2) | JP7346595B2 (ko) |
| KR (1) | KR20210145281A (ko) |
| CN (1) | CN113853566B (ko) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4318227B1 (ja) * | 2008-04-21 | 2009-08-19 | 守弘 斎藤 | 走行ロボット |
| US9569003B2 (en) * | 2010-09-30 | 2017-02-14 | Broadcom Corporation | Portable computing device including a three-dimensional touch screen |
| US9268399B2 (en) * | 2013-03-01 | 2016-02-23 | Qualcomm Incorporated | Adaptive sensor sampling for power efficient context aware inferences |
| US9530299B2 (en) * | 2015-03-03 | 2016-12-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and apparatuses for assisting a visually-impaired user |
| US10817065B1 (en) * | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
| CN106371569A (zh) * | 2015-10-22 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 动作识别方法及动作识别装置 |
| US10393872B2 (en) * | 2015-12-08 | 2019-08-27 | Garmin Switzerland Gmbh | Camera augmented bicycle radar sensor system |
| WO2017100641A1 (en) * | 2015-12-11 | 2017-06-15 | SomniQ, Inc. | Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection |
| US10474145B2 (en) * | 2016-11-08 | 2019-11-12 | Qualcomm Incorporated | System and method of depth sensor activation |
| EP3336634B1 (en) * | 2016-12-14 | 2020-02-26 | ABB Schweiz AG | Computer system and method for monitoring the status of a technical system |
| US10768682B2 (en) * | 2017-01-20 | 2020-09-08 | Flir Systems, Inc. | Detection-based wakeup of detection devices |
| US10845477B2 (en) * | 2017-05-10 | 2020-11-24 | Google Llc | Power management using a low-power radar |
| CN208339456U (zh) * | 2017-09-01 | 2019-01-08 | 江苏索众智能科技有限公司 | 一种智能马桶盖 |
| US10484530B2 (en) * | 2017-11-07 | 2019-11-19 | Google Llc | Sensor based component activation |
| JP2019030000A (ja) | 2018-06-27 | 2019-02-21 | 京セラ株式会社 | 電子機器、プログラムおよび制御方法 |
| CN109032488A (zh) | 2018-07-17 | 2018-12-18 | Oppo广东移动通信有限公司 | 黑屏手势的处理方法、存储介质及电子设备 |
-
2019
- 2019-09-27 CN CN201980096552.8A patent/CN113853566B/zh active Active
- 2019-09-27 JP JP2021569200A patent/JP7346595B2/ja active Active
- 2019-09-27 KR KR1020217036641A patent/KR20210145281A/ko not_active Application Discontinuation
- 2019-09-27 EP EP19790946.8A patent/EP4004687A1/en active Pending
-
2023
- 2023-09-06 JP JP2023144236A patent/JP2023169225A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022541094A (ja) | 2022-09-22 |
| CN113853566A (zh) | 2021-12-28 |
| JP7346595B2 (ja) | 2023-09-19 |
| CN113853566B (zh) | 2024-05-28 |
| EP4004687A1 (en) | 2022-06-01 |
| JP2023169225A (ja) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11385722B2 (en) | Robust radar-based gesture-recognition by user equipment | |
| CN112655188B (zh) | 由用户设备进行的鲁棒的基于雷达的姿势识别 | |
| US11467672B2 (en) | Context-sensitive control of radar-based gesture-recognition | |
| JP7292437B2 (ja) | Ｉｍｕおよびレーダーに基づいて状態を下げること | |
| JP7316383B2 (ja) | Ｉｍｕおよびレーダーを介した認証管理 | |
| KR102639579B1 (ko) | 인증된 상태 유지하기 | |
| WO2021021220A1 (en) | Authentication management through imu and radar | |
| US11868537B2 (en) | Robust radar-based gesture-recognition by user equipment | |
| CN113853566B (zh) | 基于雷达的姿势识别的情境敏感控制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal |