KR20240008310A - 무선 주파수 감지에 기초한 음향 구성 - Google Patents
무선 주파수 감지에 기초한 음향 구성 Download PDFInfo
- Publication number
- KR20240008310A KR20240008310A KR1020237038104A KR20237038104A KR20240008310A KR 20240008310 A KR20240008310 A KR 20240008310A KR 1020237038104 A KR1020237038104 A KR 1020237038104A KR 20237038104 A KR20237038104 A KR 20237038104A KR 20240008310 A KR20240008310 A KR 20240008310A
- Authority
- KR
- South Korea
- Prior art keywords
- reflector
- sensing
- user
- sensing data
- audio
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 claims abstract description 193
- 230000033001 locomotion Effects 0.000 claims description 74
- 230000005236 sound signal Effects 0.000 claims description 59
- 230000015654 memory Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 104
- 238000004422 calculation algorithm Methods 0.000 description 91
- 230000000875 corresponding effect Effects 0.000 description 48
- 230000006870 function Effects 0.000 description 36
- 238000005070 sampling Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 23
- 230000008054 signal transmission Effects 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 12
- 210000003128 head Anatomy 0.000 description 11
- 230000000977 initiatory effect Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 241000282412 Homo Species 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
- G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Mobile Radio Communication Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
Abstract
오디오 소스들을 검출하고 음향 디바이스 설정들을 구성하기 위한 시스템들 및 기법들이 개시된다. 예를 들어, 무선 디바이스는 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득할 수 있다. RF 감지 데이터의 제 1 세트에 기초하여, 무선 디바이스는 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정할 수 있다. 무선 디바이스는 적어도 하나의 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정할 수 있다.
Description
본 개시는 일반적으로 전자 디바이스의 음향 설정들을 구성하는 것에 관한 것이다. 본 개시의 양태들은 오디오 소스들을 검출하고/하거나 음향 설정들을 구성하기 위해 무선 주파수 (RF) 감지를 사용하기 위한 시스템들 및 기법들에 관한 것이다.
전자 디바이스들은 음성 및/또는 스피치 인식과 같은 정교한 음향 특징들을 제공할 수 있다. 일부 경우들에서, 사용자들은 전자 디바이스를 제어하는데 사용될 수 있는 오디오 명령들을 낭송할 수 있다. 예를 들어, 사용자들은, 음악을 재생하거나 목적지로의 방향제시들을 요청하는 것과 같은 어플리케이션을 개시 또는 제어하기 위해 전자 디바이스들에게 말할 수 있다.
다양한 원격통신 기능들을 구현하기 위해, 전자 디바이스들은, 무선 주파수 (RF) 신호들을 송신 및 수신하도록 구성되는 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수 있다. 예를 들어, 무선 디바이스는, 다른 것들 중에서도, Wi-Fi, 5G/뉴 라디오 (NR), BluetoothTM, 및/또는 UWB (ultra-wideband) 를 통해 통신하도록 구성될 수 있다.
다음은 본 명세서에 개시된 하나 이상의 양태들에 관한 간략화된 개요를 제시한다. 따라서, 다음의 개요는 모든 고려된 양태들에 관한 광범위한 개관으로 간주되지 않아야 하고, 다음의 개요가 모든 고려된 양태들에 관한 핵심적인 또는 중요한 엘리먼트들을 식별하거나 임의의 특정 양태와 연관된 범위를 기술하는 것으로 간주되지도 않아야 한다. 이에 따라, 다음의 개요는, 하기에서 제시되는 상세한 설명에 선행하기 위해 간략화된 형태로 본 명세서에 개시된 메커니즘들에 관한 하나 이상의 양태들에 관련된 특정 개념들을 제시하기 위한 유일한 목적을 갖는다.
전자 디바이스의 음향 설정들을 구성하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들이 개시된다. 적어도 하나의 예에 따르면, 전자 디바이스의 음향 설정들을 구성하기 위한 방법이 제공된다. 그 방법은 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하는 단계; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하는 단계; 및 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하는 단계를 포함할 수 있다.
다른 예에서, 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서 (예컨대, 회로부에서 구성됨) 를 포함하는 무선 디바이스가 제공된다. 적어도 하나의 프로세서는 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하고; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하고; 그리고 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하도록 구성된다.
다른 예에서, 적어도 하나의 명령을 저장하는 비일시적 컴퓨터 판독가능 매체가 제공되며, 적어도 하나의 명령은, 하나 이상의 프로세서들에 의해 실행될 경우, 하나 이상의 프로세서들로 하여금 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하게 하고; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하게 하고; 그리고 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하게 한다.
다른 예에서, 장치가 제공된다. 그 장치는 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하는 수단; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하는 수단; 및 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하는 수단을 포함한다.
일부 양태들에서, 그 장치는 모바일 디바이스 (예컨대, 모바일 전화 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 확장 현실 디바이스 (예컨대, 가상 현실 (VR) 디바이스, 증강 현실 (AR) 디바이스 또는 혼합 현실 (MR) 디바이스), 사물 인터넷 (IoT) 디바이스, 태블릿, 개인용 컴퓨터, 랩탑 컴퓨터, 서버 컴퓨터, 무선 액세스 포인트, 차량 또는 차량의 컴포넌트, 또는 RF 인터페이스를 갖는 기타 임의의 다른 디바이스와 같은 무선 디바이스이거나 그 부분이다.
본 명세서에서 개시된 양태들과 연관된 다른 목적들 및 이점들은 첨부 도면들 및 상세한 설명에 기초하여 당업자에게 명백할 것이다.
첨부 도면들은 본 개시의 다양한 양태들의 설명을 돕기 위해 제시되며, 오로지 양태들의 예시를 위해 제공될 뿐 그 한정을 위해 제공되지 않는다.
도 1 은 일부 예들에 따른, 전자 디바이스의 컴퓨팅 시스템의 일 예를 예시한 블록 다이어그램이다.
도 2 는 일부 예들에 따른, 리플렉터를 검출하기 위해 무선 주파수 (RF) 감지 기법들을 활용한 무선 디바이스의 일 예를 예시한 다이어그램이다.
도 3 은 일부 예들에 따른, 오디오 소스들을 검출하고 음향 설정들을 구성하기 위한 무선 디바이스들을 포함하는 환경의 일 예를 예시한 다이어그램이다.
도 4 는 일부 예들에 따른, 인간 존재를 검출하고 오디오 검출을 인에이블하기 위한 무선 디바이스들을 포함하는 환경의 일 예를 예시한 다이어그램이다.
도 5a 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 일 예를 예시한 플로우 다이어그램이다.
도 5b 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 6 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 7 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 8 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 9 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 10 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 11 은 일부 예들에 따른, 컴퓨팅 시스템의 일 예를 예시한 블록 다이어그램이다.
도 1 은 일부 예들에 따른, 전자 디바이스의 컴퓨팅 시스템의 일 예를 예시한 블록 다이어그램이다.
도 2 는 일부 예들에 따른, 리플렉터를 검출하기 위해 무선 주파수 (RF) 감지 기법들을 활용한 무선 디바이스의 일 예를 예시한 다이어그램이다.
도 3 은 일부 예들에 따른, 오디오 소스들을 검출하고 음향 설정들을 구성하기 위한 무선 디바이스들을 포함하는 환경의 일 예를 예시한 다이어그램이다.
도 4 는 일부 예들에 따른, 인간 존재를 검출하고 오디오 검출을 인에이블하기 위한 무선 디바이스들을 포함하는 환경의 일 예를 예시한 다이어그램이다.
도 5a 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 일 예를 예시한 플로우 다이어그램이다.
도 5b 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 6 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 7 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 8 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 9 는 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 10 은 일부 예들에 따른, RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스의 다른 예를 예시한 플로우 다이어그램이다.
도 11 은 일부 예들에 따른, 컴퓨팅 시스템의 일 예를 예시한 블록 다이어그램이다.
본 개시의 특정 양태들 및 실시형태들이 예시 목적으로 하기에서 제공된다. 대안적인 양태들이 본 개시의 범위로부터 일탈함없이 안출될 수도 있다. 부가적으로, 본 개시의 널리 공지된 엘리먼트들은, 본 개시의 관련 상세들을 불명료하게 하지 않도록 상세히 설명되지 않거나 생략될 것이다. 본 명세서에서 설명된 양태들 및 실시형태들 중 일부는 독립적으로 적용될 수도 있고, 그들 중 일부는 당업자에게 명백할 바와 같이 조합하여 적용될 수도 있다. 다음의 설명에 있어서, 설명의 목적들로, 특정 상세들이 본 출원의 실시형태들의 철저한 이해를 제공하기 위하여 기재된다. 하지만, 다양한 실시형태들은 이들 특정 상세들없이도 실시될 수도 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 예시적인 실시형태들을 제공하며, 본 개시의 범위, 적용가능성, 또는 구성을 한정하도록 의도되지 않는다. 오히려, 예시적인 실시형태들의 다음의 설명은 예시적인 실시형태를 구현하기 위한 가능한 설명을 당업자에게 제공할 것이다. 첨부된 청구항들에 기재된 바와 같은 본 출원의 사상 및 범위로부터 일탈함없이 엘리먼트들의 기능 및 배열에서 다양한 변경들이 행해질 수도 있음이 이해되어야 한다.
스마트폰들, 태블릿들, 스마트 스피커들, 및 랩탑들과 같은 많은 전자 디바이스들은 오디오 신호들을 검출하고 프로세싱할 수 있다. 일부 예들에서, 전자 디바이스는, 추가적인 디바이스 기능성을 트리거하는데 사용될 수 있는 오디오 스트림 (예컨대, 사용자의 스피치) 에서 키워드를 지속적으로 모니터링할 수도 있다. 예를 들어, 키워드의 검출은, 사용자로부터의 오디오 커맨드들을 해석할 수 있는 프로세서를 인에이블하는데 사용될 수 있다. 사용자는 볼륨을 증가 또는 감소시키는 것, 어플리케이션들을 실행하는 것, 텍스트 메시지들을 전송하는 것, 음성/비디오 호출들을 개시하는 것 등과 같은 디바이스 기능들을 제어하기 위해 구두 (verbal) 커맨드들을 활용할 수 있다.
사용자로부터의 구두 커맨드들에 대한 지속적인 모니터링은 더 높은 전력 소비 및 증가된 프로세싱 오버헤드를 초래할 수 있다. 모바일 전자 디바이스들의 경우, 추가적인 전력 소비는 감소된 배터리 수명을 초래할 수 있다. 더욱이, 구두 커맨드들에 대한 지속적인 모니터링은, 사용자가 전자 디바이스의 근처에 있지 않기 때문에 종종 불필요하다.
높은 전력 소비와 관련된 우려들에 추가하여, 전자 디바이스가 잡음성 환경에 위치될 경우 음성 커맨드들의 적절한 프로세싱이 난제일 수 있다. 예를 들어, 전자 디바이스는, 사용자로부터의 음성 커맨드들을 간섭할 수도 있는 사운드를 생성하고 있는 텔레비전 또는 라디오를 갖는 방에 위치될 수도 있다. 이러한 문제를 완화하는 것을 돕기 위해 구현될 수 있는 사운드 필터링 알고리즘들이 있지만, 그러한 알고리즘들의 효율성은 사운드 간섭의 소스를 적절하게 식별하고 로케이팅하는 것에 대한 불능에 의해 제한될 수 있다.
스피치 검출 및 프로세싱을 구현하기 위한 음향 설정들을 구성하기 위해 디바이스로 하여금 사운드 소스들을 식별하게 할 기법을 개발하는 것이 바람직할 것이다. 더욱이, 전체 전력 소비를 감소시키고 배터리 수명을 보존하기 위해 전력 관리를 또한 개선하면서 스피치 인식에서의 레이턴시를 감소시키는 기법을 개발하는 것이 바람직할 것이다. 더욱이, 이들 기법들을 수행하기 위해 디바이스들 상의 기존의 무선 주파수 (RF) 인터페이스들을 활용하는 것이 바람직할 것이다.
전자 디바이스의 음향 설정들을 구성하기 위한 시스템들, 장치들, 프로세스들 (방법들로서도 또한 지칭됨), 및 컴퓨터 판독가능 매체들 (집합적으로, "시스템들 및 기법들" 로서 지칭됨) 이 본 명세서에서 설명된다. 시스템들 및 기법들은, 전자 디바이스가 주변 환경에서 리플렉터들 (예컨대, 인간, 정적 또는 동적 오브젝트들, 구조적 엘리먼트들 등) 을 로케이팅하고 식별하는데 사용될 수 있는 RF 감지 데이터를 수집하기 위한 능력을 제공한다. 일부 양태들에서, RF 감지 데이터는, 주변 환경의 음향 맵을 개발하며 그리고 사운드를 생성하고/하거나 환경에서 음파들의 전파에 영향을 줄 수도 있는 리플렉터들을 식별하는데 사용될 수 있다. 일부 예들에서, RF 감지 데이터는 모션 (예컨대, 사용자 움직임) 을 검출하고, 사용자의 존재를 결정하고, 사용자의 얼굴의 배향을 결정하고, 사용자를 식별하고, 및/또는 얼굴 인증을 수행하는데 사용될 수 있다.
일부 양태들에서, RF 감지 데이터는 송신 및 수신 기능들을 동시에 수행할 수 있는 무선 인터페이스들을 활용함으로써 수집될 수 있다 (예컨대, 모노스태틱 구성). 다른 양태들에서, RF 감지 데이터는, 송신 및 수신 기능들이 상이한 디바이스들에 의해 수행되는 바이스태틱 구성을 이용함으로써 수집될 수 있다 (예컨대, 제 1 무선 디바이스는 RF 파형을 송신하고 제 2 무선 디바이스는 RF 파형 및 임의의 대응하는 반사물들을 수신함). 예들은 예시적인 예로서 Wi-Fi 를 사용하여 본 명세서에서 설명될 것이다. 하지만, 시스템들 및 기법들은 Wi-Fi 로 제한되지 않는다. 예를 들어, 일부 경우들에서, 시스템들 및 기법들은 밀리미터파 (mmWave) 기술을 사용하는 것과 같이 5G/뉴 라디오 (NR) 을 사용하여 구현될 수 있다. 일부 경우들에서, 시스템들 및 기법들은, 다른 것들 중에서도, Bluetooth™, UWB (ultra-wideband) 와 같은 다른 무선 기술들을 사용하여 구현될 수 있다.
일부 예들에서, 디바이스는, 송신된 RF 신호의 대역폭, 공간 스트림들의 수, RF 신호를 송신하도록 구성된 안테나들의 수, RF 신호를 수신하도록 구성된 안테나들의 수, 공간 링크들의 수 (예컨대, RF 신호를 수신하도록 구성된 안테나들의 수에 의해 승산된 공간 스트림들의 수), 샘플링 레이트, 또는 이들의 임의의 조합에 기초하여 RF 감지 분해능의 다양한 레벨들을 갖는 알고리즘들을 구현하도록 구성되는 Wi-Fi 인터페이스를 포함할 수 있다. 예를 들어, 디바이스의 Wi-Fi 인터페이스는, 적은 양의 전력을 소비하고 디바이스가 "잠금 (locked)" 상태 및/또는 "슬립" 모드에 있을 때 백그라운드에서 동작할 수 있는 저 분해능 RF 감지 알고리즘을 구현하도록 구성될 수 있다. 일부 사례들에서, 저 분해능 RF 감지 알고리즘은, 디바이스의 특정 근접도 내의 모션을 감지할 수 있는 개략적 검출 메커니즘으로서 디바이스에 의해 사용될 수 있다. 특정 양태들에서, 저 분해능 RF 감지 알고리즘은 디바이스 상의 음향 설정들을 구성하기 위한 (예컨대, 스피치 검출을 인에이블하고, 공간 사운드 필터를 구성하는 등) 트리거로서 사용될 수 있다. 일부 양태들에서, 저 분해능 RF 감지 알고리즘을 사용하는 것에 의한 모션의 검출은, 하나 이상의 음향 설정들을 구성하기 전에 더 높은 분해능 RF 감지 알고리즘 (예컨대, 본 명세서에서 논의된 바와 같은 중간 분해능 RF 감지 알고리즘, 고 분해능 RF 감지 알고리즘, 또는 다른 더 높은 분해능 RF 감지 알고리즘) 을 수행하도록 디바이스를 트리거할 수 있다.
일부 예들에서, 디바이스의 Wi-Fi 인터페이스는 중간 분해능 RF 감지 알고리즘을 구현하도록 구성될 수 있다. 중간 분해능 RF 감지 알고리즘을 위해 활용되는 송신된 RF 신호는 더 높은 대역폭, 더 높은 수의 공간 스트림들, 더 높은 수의 공간 링크들 (예컨대, RF 신호를 수신하도록 구성된 더 높은 수의 안테나들 및/또는 더 높은 수의 공간 스트림들), 더 높은 샘플링 레이트 (더 작은 샘플링 인터벌에 대응함), 또는 이들의 임의의 조합을 가짐으로써 저 분해능 RF 감지 알고리즘과 상이할 수 있다. 일부 사례들에서, 중간 분해능 RF 감지 알고리즘은, 디바이스의 근처에 있는 모션 뿐만 아니라 사용자의 존재를 검출 (머리, 또는 얼굴, 눈 등과 같은 다른 신체 부위를 검출) 하는데 사용될 수 있다. 일부 예들에서, 중간 분해능 RF 감지 알고리즘은, 상기에서 언급된 바와 같이, 저 분해능 RF 감지 알고리즘을 사용함으로써 디바이스의 근처에서의 모션을 검출하는 것에 응답하여 호출될 수 있다. 특정 예들에서, 중간 분해능 RF 감지 알고리즘이 디바이스 상의 음향 설정들을 구성하기 위한 (예컨대, 스피치 검출을 인에이블하고, 공간 사운드 필터를 구성하는 등) 트리거로서 사용될 수 있다. 일부 경우들에서, 중간 분해능 RF 감지 알고리즘을 사용하는 것에 의한 사용자의 존재를 검출하는 것은, 하나 이상의 음향 설정들을 구성하기 전에 더 높은 분해능 RF 감지 알고리즘 (예컨대, 본 명세서에서 논의된 바와 같은 고 분해능 RF 감지 알고리즘 또는 다른 더 높은 분해능 RF 감지 알고리즘) 을 수행하도록 디바이스를 트리거할 수 있다.
다른 예에서, 디바이스의 Wi-Fi 인터페이스는 고 분해능 RF 감지 알고리즘을 구현하도록 구성될 수 있다. 고 분해능 RF 감지 알고리즘을 위해 활용되는 송신된 RF 신호는 더 높은 대역폭, 더 높은 수의 공간 스트림들, 더 높은 수의 공간 링크들 (예컨대, RF 신호를 수신하도록 구성된 더 높은 수의 안테나들 및/또는 더 높은 수의 공간 스트림들), 더 높은 샘플링 레이트, 또는 이들의 임의의 조합을 가짐으로써 중간 분해능 RF 감지 알고리즘 및 저 분해능 RF 감지 알고리즘과 상이할 수 있다. 일부 사례들에서, 고 분해능 RF 감지 알고리즘은 사용자를 식별하고, 사용자의 존재를 검출하고, 및/또는 디바이스의 근처에서의 모션을 검출하는데 사용될 수 있다. 일부 예들에서, 고 분해능 RF 감지 알고리즘은 디바이스의 근처에서의 모션을 검출하는 것에 응답하여 및/또는 사용자의 존재를 검출하는 것에 응답하여 호출될 수 있다. 특정한 경우들에서, 고 분해능 RF 감지 알고리즘이 디바이스 상의 음향 설정들을 구성하기 위한 (예컨대, 스피치 검출을 인에이블하고, 공간 사운드 필터를 구성하는 등) 트리거로서 사용될 수 있다.
일부 예들에서, 시스템들 및 기법들은, RF 신호를 동시에 송신 및 수신하는데 사용될 수 있는 적어도 2개의 안테나들을 갖는 디바이스의 Wi-Fi 인터페이스를 구현함으로써 전술한 알고리즘들의 각각과 연관된 RF 감지를 수행할 수 있다. 일부 사례들에서, 안테나들은, RF 신호들이 모든 방향들로부터 수신되고 송신될 수 있도록 전방향성일 수 있다. 예를 들어, 디바이스는 그의 Wi-Fi 인터페이스의 송신기를 활용하여 RF 신호를 송신하고 동시에 Wi-Fi 인터페이스의 Wi-Fi 수신기를 인에이블하여, 디바이스가 (예컨대, 오브젝트들 또는 인간들과 같은 리플렉터들로부터) 임의의 반사된 신호들을 수신할 수도 있다. Wi-Fi 수신기는 또한, 임의의 오브젝트들로부터 반사하지 않고 Wi-Fi 송신기의 안테나로부터 Wi-Fi 수신기의 안테나로 전달되는 누설 신호들을 검출하도록 구성될 수 있다. 그렇게 함으로써, 디바이스는 송신된 신호에 대응하는 수신된 신호들의 반사된 경로들에 관한 데이터와 함께 송신된 신호의 직접 경로들 (누설 신호들) 에 관한 채널 상태 정보 (CSI) 데이터의 형태로 RF 감지 데이터를 수집할 수도 있다.
일부 양태들에서, CSI 데이터는 반사된 신호들의 거리뿐만 아니라 도달 각도를 계산하는데 사용될 수 있다. 반사된 신호들의 거리 및 각도는, 상기에서 논의된 바와 같이, 모션을 검출하고, 사용자의 존재를 결정하고 (예컨대, 얼굴, 눈들, 발들, 손들 등을 검출하고), 및/또는 사용자를 식별하는데 사용될 수 있다. 일부 예들에서, 반사된 신호들의 거리 및 도달 각도는 신호 프로세싱, 머신 러닝 알고리즘들을 사용하여, 임의의 다른 적합한 기법을 사용하여, 또는 이들의 임의의 조합을 사용하여 결정될 수 있다. 일 예에서, 반사된 신호들의 거리는 누설 신호의 수신으로부터 반사된 신호들의 수신까지의 시간의 차이를 측정함으로써 계산될 수 있다. 다른 예에서, 도달 각도는 반사된 신호들을 수신하기 위해 안테나 어레이를 활용하는 것 및 안테나 어레이의 각각의 엘리먼트에서 수신된 위상의 차이를 측정하는 것에 의해 계산될 수 있다. 일부 사례들에서, 반사된 신호들의 도달 각도와 함께 반사된 신호들의 거리는 사용자의 존재 및 배향 특성들을 식별하는데 사용될 수 있다.
일부 예들에서, 본 명세서에서 논의된 다양한 RF 감지 알고리즘들 중 하나 이상은 주변 환경에서 사운드 소스들을 로케이팅하고 식별하는데 사용될 수 있다. 일부 양태들에서, RF 감지 데이터는, 하나 이상의 공간 사운드 필터들을 구성하기 위해 사운드 소스들의 포지션을 결정하는데 사용될 수 있다. 일 예에서, 고정된 빔포머는, RF 감지 기법들을 사용하여 식별되는 사람과 같은 타겟팅된 사운드 소스를 향해 지향될 수 있다. 다른 예에서, 널 빔포밍은 RF 감지 기법들을 사용하여 식별된 음향 간섭 오브젝트들 (예컨대, 텔레비전, 라디오, 애완동물들, 어플라이언스들, 다른 인간들 등) 을 향해 지향될 수 있다.
일부 양태들에 있어서, 본 명세서에서 논의된 다양한 RF 감지 알고리즘들 중 하나 이상은, 주변 환경에서 사운드 소스들을 로케이팅하고 식별하기 위해 음향 감지 알고리즘들과 함께 사용될 수 있다. 일 예에서, RF 감지 데이터는 오브젝트의 위치 및 형상을 결정하는데 사용될 수 있으며, 이는 오브젝트를 식별 및/또는 분류하기 위해 음향 감지 데이터와 상관될 수 있다. 다른 예에서, RF 감지 데이터는, 사용자에 대응하는 음향 감지 데이터 (예컨대, 음성 시그너처) 와 상관될 수 있는 사용자 아이덴티티를 (예컨대, 사용자 신체 또는 신체 부위들의 형상 또는 특성들에 기초하여) 결정하는데 사용될 수 있다. 일부 예들에서, RF 감지 데이터 및/또는 음향 감지 데이터는 인공 지능 및/또는 머신 러닝 알고리즘들을 사용하여 프로세싱될 수 있다.
본 명세서에서 설명된 시스템들 및 기법들의 다양한 양태들이 도면들에 관하여 하기에서 논의될 것이다. 도 1 은 사물 인터넷 (IoT) 디바이스 (107) 의 컴퓨팅 시스템 (170) 의 일 예를 예시한다. IoT 디바이스 (107) 는, 컴퓨터 네트워크들 (예컨대, 인터넷) 을 사용하여 다른 디바이스들 및 시스템들과 데이터를 접속 및 교환할 목적으로 하드웨어 및 소프트웨어를 포함할 수 있는 디바이스의 일 예이다. 예를 들어, IoT 디바이스 (107) 는 가상 어시스턴트, 스마트 스피커, 스마트 어플라이언스, 모바일 폰, 라우터, 태블릿 컴퓨터, 랩탑 컴퓨터, 추적 디바이스, 웨어러블 디바이스 (예컨대, 스마트 워치, 안경, XR 디바이스 등), 차량 (또는 차량의 컴퓨팅 디바이스), 및/또는 무선 통신 네트워크 상으로 통신하기 위해 사용자에 의해 사용되는 다른 디바이스를 포함할 수 있다. 일부 경우들에서, 디바이스는, 예컨대, Wi-Fi 표준을 사용하여 통신하도록 구성된 디바이스를 지칭할 때, 스테이션 (STA) 으로서 지칭될 수 있다. 일부 경우들에서, 디바이스는, 예컨대, 5G/뉴 라디오 (NR), 롱 텀 에볼루션 (LTE), 또는 다른 원격통신 표준을 사용하여 통신하도록 구성된 디바이스를 지칭할 때, 사용자 장비 (UE) 로서 지칭될 수 있다.
컴퓨팅 시스템 (170) 은 버스 (189) 를 통해 전기적으로 또는 통신적으로 커플링될 수 있는 (또는 그렇지 않으면, 적절하게 통신할 수도 있는) 소프트웨어 및 하드웨어 컴포넌트를 포함한다. 예를 들어, 컴퓨팅 시스템 (170) 은 하나 이상의 프로세서들 (184) 을 포함한다. 하나 이상의 프로세서들 (184) 은 하나 이상의 CPU들, ASIC들, FPGA들, AP들, GPU들, VPU들, NSP들, 마이크로제어기들, 전용 하드웨어, 이들의 임의의 조합, 및/또는 다른 프로세싱 디바이스/디바이스들 및/또는 시스템/시스템들을 포함할 수 있다. 버스 (189) 는 코어들 사이 및/또는 하나 이상의 메모리 디바이스들 (186) 과 통신하기 위해 하나 이상의 프로세서들 (184) 에 의해 사용될 수 있다.
컴퓨팅 시스템 (170) 은 또한 하나 이상의 메모리 디바이스들 (186), 하나 이상의 디지털 신호 프로세서들 (DSP들) (182), 하나 이상의 가입자 아이덴티티 모듈들 (SIM들) (174), 하나 이상의 모뎀들 (176), 하나 이상의 무선 트랜시버들 (178), 하나 이상의 안테나들 (187), 하나 이상의 입력 디바이스들 (172) (예컨대, 카메라, 마우스, 키보드, 터치 감응형 스크린, 터치 패드, 키패드, 마이크로폰 또는 마이크로폰 어레이 등), 및 하나 이상의 출력 디바이스들 (180) (예컨대, 디스플레이, 스피커, 프린터 등) 을 포함할 수도 있다.
하나 이상의 무선 트랜시버들 (178) 은, 다른 사용자 디바이스들, 네트워크 디바이스들 (예컨대, eNB들 및/또는 gNB들과 같은 기지국들, 라우터들, 범위 확장기들 등과 같은 WiFi 액세스 포인트들 (AP들) 등), 클라우드 네트워크들 등과 같은 하나 이상의 다른 디바이스들로부터 안테나 (187) 를 통해 무선 신호들 (예컨대, 신호 (188)) 을 수신할 수 있다. 일부 예들에서, 컴퓨팅 시스템 (170) 은, 동시 송신 및 수신 기능성을 용이하게 할 수 있는 다중의 안테나들 또는 안테나 어레이를 포함할 수 있다. 안테나 (187) 는, RF 신호들이 모든 방향들로부터 수신되고 송신될 수 있도록 전방향성 안테나일 수 있다. 무선 신호 (188) 는 무선 네트워크를 통해 송신될 수도 있다. 무선 네트워크는 셀룰러 또는 원격통신 네트워크 (예컨대, 3G, 4G, 5G 등), 무선 로컬 영역 네트워크 (예컨대, WiFi 네트워크), BluetoothTM 네트워크, 및/또는 다른 네트워크와 같은 임의의 무선 네트워크일 수도 있다. 일부 예들에서, 하나 이상의 무선 트랜시버들 (178) 은, 다른 컴포넌트들 중에서도, 증폭기, 신호 하향 변환을 위한 믹서 (신호 승산기로서도 또한 지칭됨), 믹서에 신호들을 제공하는 주파수 합성기 (오실레이터로서도 또한 지칭됨), 기저대역 필터, 아날로그-디지털 변환기 (ADC), 하나 이상의 전력 증폭기들과 같은 하나 이상의 컴포넌트들을 포함하는 RF 프런트 엔드를 포함할 수도 있다. RF 프런트 엔드는 일반적으로, 무선 신호들 (188) 의 기저대역 또는 중간 주파수로의 선택 및 변환을 핸들링할 수 있고, RF 신호들을 디지털 도메인으로 변환할 수 있다.
일부 경우들에서, 컴퓨팅 시스템 (170) 은, 하나 이상의 무선 트랜시버들 (178) 을 사용하여 송신 및/또는 수신된 데이터를 인코딩 및/또는 디코딩하도록 구성된 코딩-디코딩 디바이스 (또는 CODEC) 를 포함할 수 있다. 일부 경우들에서, 컴퓨팅 시스템 (170) 은, 하나 이상의 무선 트랜시버들 (178) 에 의해 송신 및/또는 수신되는 (예컨대, 어드밴스드 암호화 표준 (Advanced Encryption Standard; AES) 및/또는 데이터 암호화 표준 (DES) 표준에 따라) 데이터를 암호화 및/또는 암호해독하도록 구성된 암호화-암호해독 디바이스 또는 컴포넌트를 포함할 수 있다.
하나 이상의 SIM들 (174) 은 각각, IoT 디바이스 (107) 의 사용자에게 배정된 국제 모바일 가입자 아이덴티티 (IMSI) 번호 및 관련 키를 보안적으로 저장할 수 있다. IMSI 및 키는, 하나 이상의 SIM들 (174) 과 연관된 네트워크 서비스 제공자 또는 오퍼레이터에 의해 제공되는 네트워크에 액세스할 때 가입자를 식별 및 인증하는데 사용될 수 있다. 하나 이상의 모뎀들 (176) 은 하나 이상의 무선 트랜시버들 (178) 을 사용하여 송신하기 위한 정보를 인코딩하기 위해 하나 이상의 신호를 변조할 수 있다. 하나 이상의 모뎀들 (176) 은 또한, 송신된 정보를 디코딩하기 위해 하나 이상의 무선 트랜시버들 (178) 에 의해 수신된 신호들을 복조할 수 있다. 일부 예들에서, 하나 이상의 모뎀들 (176) 은 WiFi 모뎀, 4G (또는 LTE) 모뎀, 5G (또는 NR) 모뎀, 및/또는 다른 타입들의 모뎀들을 포함할 수 있다. 하나 이상의 모뎀들 (176) 및 하나 이상의 무선 트랜시버들 (178) 은 하나 이상의 SIM들 (174) 을 위한 데이터를 통신하기 위해 사용될 수 있다.
컴퓨팅 시스템 (170) 은 또한, 프로그래밍가능하거나 플래시-업데이트 등이 가능한, 로컬 및/또는 네트워크 액세스가능 저장부, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, RAM 및/또는 ROM 과 같은 솔리드-스테이트 저장 디바이스를 제한없이 포함할 수 있는 하나 이상의 비일시적 머신 판독가능 저장 매체들 또는 저장 디바이스들 (예컨대, 하나 이상의 메모리 디바이스들 (186)) 을 포함할 수 있다 (및/또는 이들과 통신할 수 있음). 그러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한없이 포함하는 임의의 적절한 데이터 저장부를 구현하도록 구성될 수도 있다.
다양한 실시형태들에서, 기능들은 메모리 디바이스(들) (186) 에 하나 이상의 컴퓨터 프로그램 제품들 (예컨대, 명령들 또는 코드) 로서 저장되고 하나 이상의 프로세서(들) (184) 및/또는 하나 이상의 DSP들 (182) 에 의해 실행될 수도 있다. 컴퓨팅 시스템 (170) 은 또한, 예를 들어, 오퍼레이팅 시스템, 디바이스 구동기들, 실행가능 라이브러리들, 및/또는 다른 코드, 예컨대, 다양한 실시형태들에 의해 제공되는 기능들을 구현하는 컴퓨터 프로그램들을 포함할 수도 있고 및/또는 본 명세서에서 설명된 바와 같은 방법들을 구현하고/하거나 시스템들을 구성하도록 설계될 수도 있는 하나 이상의 어플리케이션 프로그램들을 포함하는 (예컨대, 하나 이상의 메모리 디바이스들 (186) 내에 위치된) 소프트웨어 엘리먼트들을 포함할 수 있다.
일부 양태들에서, IoT 디바이스 (107) 는 본 명세서에서 설명된 동작들을 수행하는 수단을 포함할 수 있다. 그 수단은 컴퓨팅 시스템 (170) 의 컴포넌트들 중 하나 이상을 포함할 수 있다. 예를 들어, 본 명세서에서 설명된 동작들을 수행하는 수단은 입력 디바이스(들) (172), SIM(들) (174), 모뎀(들) (176), 무선 트랜시버(들) (178), 출력 디바이스(들) (180), DSP(들) (182), 프로세서들 (184), 메모리 디바이스(들) (186), 및/또는 안테나(들) (187) 중 하나 이상을 포함할 수도 있다.
일부 양태들에서, IoT 디바이스 (107) 는 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하는 수단; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하는 수단; 및 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하는 수단을 포함할 수 있다. 일부 예들에서, 획득하는 수단은 하나 이상의 무선 트랜시버들 (178), 하나 이상의 모뎀들 (176), 하나 이상의 SIM들 (174), 하나 이상의 프로세서들 (184), 하나 이상의 DSP들 (182), 하나 이상의 메모리 디바이스들 (186), 이들의 임의의 조합, 또는 무선 디바이스의 다른 컴포넌트(들)를 포함할 수 있다. 일부 예들에서, 결정하는 수단은 하나 이상의 프로세서들 (184), 하나 이상의 DSP들 (182), 하나 이상의 메모리 디바이스들 (186), 이들의 임의의 조합, 또는 무선 디바이스의 다른 컴포넌트(들)를 포함할 수 있다.
도 2 는 리플렉터 (202) 를 로케이팅하고 식별하는 것과 같은 하나 이상의 기능들을 수행하기 위해 RF 감지 기법들을 활용하는 무선 디바이스 (200) 의 일 예를 예시한 다이어그램이다. 일부 양태들에서, 리플렉터 (202) 는 인간 사용자에 대응할 수 있고, RF 감지 기법들은 사용자의 모션을 검출하고, 사용자의 존재를 검출하고, 사용자를 식별하고, 사용자의 배향 특성들을 검출하고, 이들의 임의의 조합을 수행하고, 및/또는 다른 기능들을 수행하는데 사용될 수 있다. 일부 예들에서, 무선 디바이스 (200) 는 모바일 폰, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 적어도 하나의 RF 인터페이스를 포함하는 다른 디바이스와 같은 IoT 디바이스 (107) 일 수 있다. 일부 예들에서, 무선 디바이스 (200) 는 무선 액세스 포인트 (AP), 기지국 (예컨대, gNB, eNB 등), 또는 적어도 하나의 RF 인터페이스를 포함하는 다른 디바이스와 같은 사용자 디바이스 (예컨대, IoT 디바이스 (107)) 에 대한 접속성을 제공하는 디바이스일 수 있다.
일부 양태들에서, 무선 디바이스 (200) 는 RF 신호를 송신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 무선 디바이스 (200) 는, (예컨대, 예시되지 않은 마이크로프로세서로부터) 디지털 신호 또는 파형을 수신할 수 있고 그 신호 또는 파형을 아날로그 파형으로 변환할 수 있는 디지털-아날로그 변환기 (DAC) (204) 를 포함할 수 있다. DAC (204) 의 출력인 아날로그 신호는 RF 송신기 (206) 에 제공될 수 있다. RF 송신기 (206) 는 Wi-Fi 송신기, 5G/NR 송신기, BluetoothTM 송신기, 또는 RF 신호를 송신할 수 있는 임의의 다른 송신기일 수 있다.
RF 송신기 (206) 는 TX 안테나 (212) 와 같은 하나 이상의 송신 안테나들에 커플링될 수 있다. 일부 예들에서, TX 안테나 (212) 는 모든 방향들로 RF 신호를 송신할 수 있는 전방향성 안테나일 수 있다. 예를 들어, TX 안테나 (212) 는 360도 방사 패턴으로 Wi-Fi 신호들 (예컨대, 2.4 GHz, 5 GHz, 6 GHz 등) 을 방사할 수 있는 전방향성 Wi-Fi 안테나일 수 있다. 다른 예에서, TX 안테나 (212) 는 특정 방향으로 RF 신호를 전송하는 지향성 안테나일 수 있다.
일부 예들에서, 무선 디바이스 (200) 는 또한, RF 신호를 수신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 무선 디바이스 (200) 에서의 수신기 라인업은 RX 안테나 (214) 와 같은 하나 이상의 수신 안테나들을 포함할 수 있다. 일부 예들에서, RX 안테나 (214) 는 다중의 방향들로부터 RF 신호들을 수신할 수 있는 전방향성 안테나일 수 있다. 다른 예들에서, RX 안테나 (214) 는, 특정 방향으로부터 신호들을 수신하도록 구성되는 지향성 안테나일 수 있다. 추가의 예들에서, TX 안테나 (212) 및 RX 안테나 (214) 양자 모두는 안테나 어레이로서 구성된 다중의 안테나들 (예컨대, 엘리먼트들) 을 포함할 수 있다.
무선 디바이스 (200) 는 또한, RX 안테나 (214) 에 커플링되는 RF 수신기 (210) 를 포함할 수 있다. RF 수신기 (210) 는 Wi-Fi 신호, BluetoothTM 신호, 5G/NR 신호, 또는 임의의 다른 RF 신호와 같은 RF 파형을 수신하기 위한 하나 이상의 하드웨어 컴포넌트들을 포함할 수 있다. RF 수신기 (210) 의 출력은 아날로그-디지털 변환기 (ADC) (208) 에 커플링될 수 있다. ADC (208) 는 수신된 아날로그 RF 파형을, 디지털 신호 프로세서 (예시되지 않음) 와 같은 프로세서에 제공될 수 있는 디지털 파형으로 변환하도록 구성될 수 있다.
일 예에서, 무선 디바이스 (200) 는, TX 파형 (216) 이 TX 안테나 (212) 로부터 송신되게 함으로써 RF 감지 기법들을 구현할 수 있다. TX 파형 (216) 이 단일 라인으로서 예시되지만, 일부 경우들에서, TX 파형 (216) 은 전방향성 TX 안테나 (212) 에 의해 모든 방향들로 송신될 수 있다. 일 예에서, TX 파형 (216) 은, 무선 디바이스 (200) 에서의 Wi-Fi 송신기에 의해 송신되는 Wi-Fi 파형일 수 있다. 일부 경우들에서, TX 파형 (216) 은, Wi-Fi 데이터 통신 신호 또는 Wi-Fi 제어 기능 신호 (예컨대, 비콘 송신물) 와 동시에 또는 거의 동시에 송신되는 Wi-Fi 파형에 대응할 수 있다. 일부 예들에서, TX 파형 (216) 은 Wi-Fi 데이터 통신 신호 또는 Wi-Fi 제어 기능 신호 (예컨대, 비콘 송신물) 와 동일한 또는 유사한 주파수 리소스를 사용하여 송신될 수 있다. 일부 양태들에서, TX 파형 (216) 은, Wi-Fi 데이터 통신 신호 및/또는 Wi-Fi 제어 신호와는 별개로 송신되는 Wi-Fi 파형에 대응할 수 있다 (예컨대, TX 파형 (216) 은 상이한 시간들에 및/또는 상이한 주파수 리소스를 사용하여 송신될 수 있음).
일부 예들에서, TX 파형 (216) 은, 5G NR 데이터 통신 신호 또는 5G NR 제어 기능 신호와 동시에 또는 거의 동시에 송신되는 5G NR 파형에 대응할 수 있다. 일부 예들에서, TX 파형 (216) 은 5G NR 데이터 통신 신호 또는 5G NR 제어 기능 신호와 동일한 또는 유사한 주파수 리소스를 사용하여 송신될 수 있다. 일부 양태들에서, TX 파형 (216) 은, 5G NR 데이터 통신 신호 및/또는 5G NR 제어 신호와는 별개로 송신되는 5G NR 파형에 대응할 수 있다 (예컨대, TX 파형 (216) 은 상이한 시간들에 및/또는 상이한 주파수 리소스를 사용하여 송신될 수 있음).
일부 양태들에서, TX 파형 (216) 과 연관된 하나 이상의 파라미터들은, RF 감지 분해능을 증가 또는 감소시키는데 사용될 수도 있도록 수정될 수 있다. 파라미터들은 주파수, 대역폭, 공간 스트림들의 수, TX 파형 (216) 을 송신하도록 구성된 안테나들의 수, TX 파형 (216) 에 대응하는 반사된 RF 신호를 수신하도록 구성된 안테나들의 수, 공간 링크들의 수 (예컨대, RF 신호를 수신하도록 구성된 안테나들의 수에 의해 승산된 공간 스트림들의 수), 샘플링 레이트, 또는 이들의 임의의 조합을 포함할 수도 있다.
추가의 예들에서, TX 파형 (216) 은, 완벽한 또는 거의 완벽한 자기상관 특성들을 갖는 시퀀스를 갖도록 구현될 수 있다. 예를 들어, TX 파형 (216) 은 단일 캐리어 Zadoff 시퀀스들을 포함할 수 있거나, 또는 직교 주파수 분할 멀티플렉싱 (OFDM) 롱 트레이닝 필드 (LTF) 심볼들과 유사한 심볼들을 포함할 수 있다. 일부 경우들에서, TX 파형 (216) 은, 예를 들어, 주파수 변조 연속파 (Frequency-Modulated Continuous-Wave; FM-CW) 레이더 시스템에서 사용되는 바와 같은 처프 (chirp) 신호를 포함할 수 있다. 일부 구성들에서, 처프 신호는, 신호 주파수가 선형 및/또는 지수 방식으로 주기적으로 증가 및/또는 감소하는 신호를 포함할 수 있다.
일부 양태들에서, 무선 디바이스 (200) 는 추가로, 동시 송신 및 수신 기능들을 수행함으로써 RF 감지 기법들을 구현할 수 있다. 예를 들어, 무선 디바이스 (200) 는 그의 RF 수신기 (210) 로 하여금 RF 송신기 (206) 가 TX 파형 (216) 을 송신할 수 있게 하는 것과 동시에 또는 거의 동시에 수신할 수 있게 할 수 있다. 일부 예들에서, TX 파형 (216) 에 포함되는 시퀀스 또는 패턴의 송신은, 그 시퀀스가 특정 횟수로 또는 특정 시간 지속기간 동안 송신되도록 연속적으로 반복될 수 있다. 일부 예들에서, TX 파형 (216) 의 송신에 있어서 패턴을 반복하는 것은, RF 수신기 (210) 가 RF 송신기 (206) 이후에 인에이블되면 임의의 반사된 신호들의 수신을 누락하는 것을 회피하기 위해 사용될 수 있다. 하나의 예시적인 구현에서, TX 파형 (216) 은 2회 이상 송신되는 시퀀스 길이 (L) 를 갖는 시퀀스를 포함할 수 있으며, 이는 RF 수신기 (210) 로 하여금 어떠한 정보도 누락시키지 않고 전체 시퀀스에 대응하는 반사물들을 수신하기 위해 L 이하의 시간에 인에이블되게 할 수 있다.
동시 송신 및 수신 기능성을 구현함으로써, 무선 디바이스 (200) 는 TX 파형 (216) 에 대응하는 임의의 신호들을 수신할 수 있다. 예를 들어, 무선 디바이스 (200) 는, 리플렉터 (202) 로부터 반사된 RX 파형 (218) 과 같이, TX 파형 (216) 의 범위 내에 있는 오브젝트들 또는 사람들로부터 반사되는 신호들을 수신할 수 있다. 무선 디바이스 (200) 는 또한, 어떠한 오브젝트들로부터도 반사하지 않고 TX 안테나 (212) 로부터 RX 안테나 (214) 로 직접 커플링되는 누설 신호들 (예컨대, TX 누설 신호 (220)) 을 수신할 수 있다. 예를 들어, 누설 신호들은, 어떠한 오브젝트들로부터도 반사하지 않고 무선 디바이스 상의 송신기 안테나 (예컨대, TX 안테나 (212)) 로부터 무선 디바이스 상의 수신 안테나 (예컨대, RX 안테나 (214)) 로 전달되는 신호들을 포함할 수 있다. 일부 경우들에서, RX 파형 (218) 은, TX 파형 (216) 에 포함되는 시퀀스의 다중의 카피들에 대응하는 다중의 시퀀스들을 포함할 수 있다. 일부 예들에서, 무선 디바이스 (200) 는, 신호 대 노이즈 비 (SNR) 를 개선하기 위해 RF 수신기 (210) 에 의해 수신되는 다중의 시퀀스들을 결합할 수 있다.
무선 디바이스 (200) 는 추가로, TX 파형 (216) 에 대응하는 수신된 신호들의 각각과 연관된 RF 감지 데이터를 획득함으로써 RF 감지 기법들을 구현할 수 있다. 일부 예들에서, RF 감지 데이터는, TX 파형 (216) 에 대응하는 반사된 경로들 (예컨대, RX 파형 (218)) 에 관한 데이터와 함께 TX 파형 (216) 의 직접 경로들 (예컨대, 누설 신호 (220)) 에 관한 채널 상태 정보 (CSI) 데이터를 포함할 수 있다.
일부 양태들에서, RF 감지 데이터 (예컨대, CSI 데이터) 는, RF 신호 (예컨대, TX 파형 (216)) 가 RF 송신기 (206) 로부터 RF 수신기 (210) 로 전파하는 방식을 결정하는데 사용될 수 있는 정보를 포함할 수 있다. RF 감지 데이터는 산란, 페이딩, 및/또는 거리에 따른 전력 감쇠, 또는 이들의 임의의 조합으로 인한 송신된 RF 신호에 대한 효과들에 대응하는 데이터를 포함할 수 있다. 일부 예들에서, RF 감지 데이터는, 특정 대역폭에 걸쳐 주파수 도메인에서 각각의 톤에 대응하는 허수 데이터 및 실수 데이터 (예컨대, I/Q 컴포넌트들) 를 포함할 수 있다.
일부 예들에서, RF 감지 데이터는, RX 파형 (218) 과 같은 반사된 파형들에 대응하는 거리들 및 도달 각도들을 계산하는데 사용될 수 있다. 추가의 예들에서, RF 감지 데이터는 또한, 모션을 검출하거나, 위치를 결정하거나, 위치 또는 모션 패턴들에서의 변경들을 검출하거나, 채널 추정을 획득하거나, 또는 이들의 임의의 조합을 위해 사용될 수 있다. 일부 경우들에서, 반사된 신호들의 거리 및 도달 각도는 사용자 존재/근접도를 검출하고, 사용자 주의를 검출하고, 및/또는 사용자/오브젝트를 식별하기 위해, 주변 환경에서의 사용자들 (예컨대, 리플렉터 (202)) 의 사이즈, 포지션, 움직임, 또는 배향을 식별하는데 사용될 수 있다.
무선 디바이스 (200) 는 신호 프로세싱, 머신 러닝 알고리즘들을 활용함으로써, 임의의 다른 적합한 기법을 사용하여, 또는 이들의 임의의 조합에 의해, 반사된 파형들에 대응하는 거리들 및 도달 각도들 (예컨대, RX 파형 (218) 에 대응하는 거리 및 도달 각도) 을 계산할 수 있다. 다른 예들에서, 무선 디바이스 (200) 는, RX 파형 (218) 또는 다른 반사된 파형들에 대응하는 거리 및 도달 각도를 획득하기 위한 계산들을 수행할 수 있는 서버와 같은 다른 컴퓨팅 디바이스로 RF 감지 데이터를 전송할 수 있다.
일 예에서, RX 파형 (218) 의 거리는, 누설 신호의 수신으로부터 반사된 신호들의 수신까지의 시간에서의 차이를 측정함으로써 계산될 수 있다. 예를 들어, 무선 디바이스 (200) 는, 무선 디바이스 (200) 가 TX 파형 (216) 을 송신하는 시간으로부터 누설 신호 (220) 를 수신하는 시간까지의 차이 (예컨대, 전파 지연) 에 기초하는 제로의 베이스라인 거리를 결정할 수 있다. 그 다음, 무선 디바이스 (200) 는, 무선 디바이스 (200) 가 TX 파형 (216) 을 송신하는 시간으로부터 RX 파형 (218) 을 수신하는 시간까지의 차이 (예컨대, 비행 시간) 에 기초하여 RX 파형 (218) 과 연관된 거리를 결정할 수 있으며, 이는 그 다음, 누설 신호 (220) 와 연관된 전파 지연에 따라 조정될 수 있다. 그렇게 함에 있어서, 무선 디바이스 (200) 는, 반사를 야기한 리플렉터 (202) (예컨대, 인간, 정적 오브젝트, 트랜션트 오브젝트 등) 의 존재 및 움직임을 결정하는데 사용될 수 있는 RX 파형 (218) 에 의해 이동된 거리를 결정할 수 있다.
추가의 예들에서, RX 파형 (218) 의 도달 각도는, 안테나 (214) 와 같은 수신 안테나 어레이의 개별 엘리먼트들 사이의 RX 파형 (218) 의 도달 시간 차이를 측정함으로써 계산될 수 있다. 일부 예들에서, 도달 시간 차이는, 수신 안테나 어레이에서의 각각의 엘리먼트에서 수신된 위상의 차이를 측정함으로써 계산될 수 있다.
일부 경우들에서, RX 파형 (218) 의 거리 및 도달 각도는 무선 디바이스 (200) 와 리플렉터 (202) 사이의 거리 뿐만 아니라 무선 디바이스 (200) 에 대한 리플렉터 (202) 의 포지션을 결정하는데 사용될 수 있다. RX 파형 (218) 의 거리 및 도달 각도는 또한, 리플렉터 (202) 에 대응하는 사용자의 존재, 움직임, 근접도, 주의, 아이덴티티, 또는 이들의 임의의 조합을 결정하는데 사용될 수 있다. 예를 들어, 무선 디바이스 (200) 는, 사용자가 무선 디바이스 (200) 를 향해 걷고 있음을 결정하기 위해 RX 파형 (218) 에 대응하는 계산된 거리 및 도달 각도를 활용할 수 있다. 무선 디바이스 (200) 에 대한 사용자 (예컨대, 리플렉터 (202)) 의 근접도에 기초하여, 무선 디바이스 (200) 는 하나 이상의 음향 디바이스 설정들을 구성할 수 있다 (예컨대, 스피치 인식을 활성화하고, 공간 사운드 필터를 구성하는 등을 행함). 일부 양태들에서, 음향 디바이스 설정들은, 리플렉터 (202) 가 무선 디바이스 (200) 의 임계 거리 내에 있는 것에 기초하여 구현될 수 있다.
상기에서 언급된 바와 같이, 무선 디바이스 (200) 는 모바일 디바이스들 (예컨대, 스마트폰들, 랩탑들, 태블릿들 등) 또는 다른 타입들의 디바이스들을 포함할 수 있다. 일부 예들에서, 무선 디바이스 (200) 는 RF 감지 데이터와 함께 디바이스 위치 데이터 및 디바이스 배향 데이터를 획득하도록 구성될 수 있다. 일부 사례들에서, 디바이스 위치 데이터 및 디바이스 배향 데이터는 RX 파형 (218) 과 같은 반사된 신호의 거리 및 도달 각도를 결정하거나 조정하는데 사용될 수 있다. 예를 들어, 무선 디바이스 (200) 는, 리플렉터 (202) 가 RF 감지 프로세스 동안 테이블을 향해 이동할 때, 천장을 향한 테이블 상에 설정될 수도 있다. 이 사례에서, 무선 디바이스 (200) 는, 리플렉터 (202) 가 이동하고 있는 방향을 결정하기 위해 RF 감지 데이터와 함께 그의 위치 데이터 및 배향 데이터를 사용할 수 있다.
일부 예들에서, 디바이스 포지션 데이터는, 라운드 트립 타임 (RTT) 측정치들, 수동 포지셔닝, 도달 각도, 수신 신호 강도 표시자 (RSSI), CSI 데이터를 포함하는 기법들을 사용하여, 임의의 다른 적합한 기법을 사용하여, 또는 이들의 임의의 조합을 사용하여, 무선 디바이스 (200) 에 의해 수집될 수 있다. 추가의 예들에서, 디바이스 배향 데이터는 자이로스코프, 가속도계, 나침반, 자력계, 기압계, 임의의 다른 적합한 센서, 또는 이들의 임의의 조합과 같은 무선 디바이스 (200) 상의 전자 센서들로부터 획득될 수 있다.
도 3 은 IoT 디바이스 (302), 액세스 포인트 (AP) (304), 사용자 (308), 및 텔레비전 (322) 을 포함하는 환경 (300) 을 예시한 다이어그램이다. IoT 디바이스 (302) 는 사용자 디바이스 (예컨대, 가상 어시스턴트 또는 임의의 다른 타입의 디바이스와 같은 도 1 의 IoT 디바이스 (107)) 를 포함할 수 있다. AP (304) 가 또한, 일부 예들에서, 무선 디바이스로서 지칭될 수 있다. 도시된 바와 같이, 사용자 (308) 는 제 1 사용자 포지션 (309a), 제 2 사용자 포지션 (309b), 및 제 3 사용자 포지션 (309c) 을 포함하는 상이한 포지션들로 (예컨대, 무선 디바이스 (302) 와 함께) 이동할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 및 AP (304) 는 각각, 모션을 검출하고, 인간/사용자 존재를 검출하고, 사용자를 식별하고, 이들의 임의의 조합을 수행하고, 및/또는 사용자 (308) 에 대한 다른 기능들을 수행하기 위해 RF 감지를 수행하도록 구성될 수 있다.
일부 양태들에서, AP (304) 는, 도 2 의 무선 디바이스 (200) 에 대해 본 명세서에서 설명된 컴포넌트들과 같은, RF 신호들을 동시에 송신 및 수신하도록 구성될 수 있는 하드웨어 및 소프트웨어 컴포넌트들을 포함하는 Wi-Fi 액세스 포인트일 수 있다. 예를 들어, AP (304) 는, RF 신호를 송신하도록 구성될 수 있는 하나 이상의 안테나들 및 RF 신호를 수신하도록 구성될 수 있는 하나 이상의 안테나들 (예컨대, 안테나 (306)) 을 포함할 수 있다. 도 2 의 무선 디바이스 (200) 에 관하여 언급된 바와 같이, AP (304) 는 임의의 방향으로부터 신호들을 송신 및 수신하도록 구성되는 전방향성 안테나들 또는 안테나 어레이들을 포함할 수 있다.
일부 양태들에서, AP (304) 및 IoT 디바이스 (302) 는, 송신 및 수신 기능들이 상이한 디바이스들에 의해 수행되는 바이스태틱 (bistatic) 구성을 구현하도록 구성될 수 있다. 예를 들어, AP (304) 는, 신호 (310a) 및 신호 (310b) 를 포함할 수 있는 전방향성 RF 신호를 송신할 수 있다. 예시된 바와 같이, 신호 (310a) 는 AP (304) 로부터 IoT 디바이스 (302) 로 직접 (예컨대, 반사들 없음) 이동할 수 있고, 신호 (310b) 는 포지션 (309a) 에서의 사용자 (308) 로부터 반사될 수 있고, 대응하는 반사된 신호 (312) 가 IoT 디바이스 (302) 에 의해 수신되게 할 수 있다.
일부 예들에서, IoT 디바이스 (302) 는, 포지션 (309a) 에서의 사용자 (308) 의 존재, 위치, 배향, 및/또는 움직임을 결정하기 위해 신호 (310a) 및 신호 (310b) 와 연관된 RF 감지 데이터를 활용할 수 있다. 예를 들어, IoT 디바이스 (302) 는 AP (304) 와 연관된 위치 데이터를 획득, 취출, 및/또는 추정할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 는, AP (304) 에 의해 송신된 신호들 (예컨대, 신호 (310a) 와 같은 직접 경로 신호들 및 신호 (312) 와 같은 반사된 경로 신호들) 과 연관된 비행 시간, 거리, 및/또는 도달 각도를 결정하기 위해 AP (304) 와 연관된 위치 데이터 및 RF 감지 데이터 (예컨대, CSI 데이터) 를 사용할 수 있다. 일부 경우들에서, AP (304) 및 IoT 디바이스 (302) 는, RF 신호 (310a) 및/또는 반사된 신호 (312) 와 연관된 데이터 (예컨대, 송신 시간, 시퀀스/패턴, 도달 시간, 도달 각도 등) 를 포함할 수 있는 통신물을 추가로 전송 및/또는 수신할 수 있다.
일부 예들에서, IoT 디바이스 (302) 는 모노스태틱 구성을 사용하여 RF 감지를 수행하도록 구성될 수 있으며, 이 경우, IoT 디바이스 (302) 는 송신 및 수신 기능들 양자 모두 (예컨대, 무선 디바이스 (200) 와 관련하여 논의된 동시 TX/RX) 를 수행한다. 예를 들어, IoT 디바이스 (302) 는 RF 신호 (314) 를 송신함으로써 포지션 (309b) 에서의 사용자 (308) 의 존재 또는 움직임을 검출할 수 있으며, 이는 포지션 (309b) 에서의 사용자 (308) 로부터의 반사된 신호 (316) 가 IoT 디바이스 (302) 에 의해 수신되게 할 수 있다.
일부 양태들에서, IoT 디바이스 (302) 는 반사된 신호 (316) 와 연관된 RF 감지 데이터를 획득할 수 있다. 예를 들어, RF 감지 데이터는 반사된 신호 (316) 에 대응하는 CSI 데이터를 포함할 수 있다. 추가의 양태들에서, IoT 디바이스 (302) 는 반사된 신호 (316) 에 대응하는 거리 및 도달 각도를 계산하기 위해 RF 감지 데이터를 사용할 수 있다. 예를 들어, IoT 디바이스 (302) 는, 누설 신호 (예시 안됨) 와 반사된 신호 (316) 사이의 차이에 기초하여 반사된 신호 (316) 에 대한 비행 시간을 계산함으로써 거리를 결정할 수 있다. 추가의 예들에서, IoT 디바이스 (302) 는, 반사된 신호들을 수신하기 위해 안테나 어레이를 활용하는 것 및 안테나 어레이의 각각의 엘리먼트에서 수신된 위상의 차이를 측정하는 것에 의해 도달 각도를 결정할 수 있다.
일부 예들에서, IoT 디바이스 (302) 는, 'K' 로서 표현되는 주파수들 (예컨대, 톤들) 의 수 및 'N' 으로서 표현되는 안테나 어레이 엘리먼트들의 수에 기초하는 매트릭스를 공식화하는데 사용될 수 있는 CSI 데이터의 형태로 RF 감지 데이터를 획득할 수 있다. 하나의 기법에서, CSI 매트릭스는 식 (1) 에 의해 주어진 관계에 따라 공식화될 수 있다:
(1)
CSI 매트릭스를 공식화할 시, IoT 디바이스 (302) 는, 2차원 푸리에 변환을 활용함으로써 직접 신호 경로들 (예컨대, 누설 신호들) 뿐만 아니라 반사된 신호 경로들 (예컨대, 반사된 신호 (316)) 에 대한 도달 각도 및 비행 시간을 계산할 수 있다. 일 예에서, 푸리에 변환은 하기의 식 (2) 에 의해 주어진 관계에 의해 정의될 수 있으며, 여기서, K 는 주파수 도메인에서의 톤들의 수에 대응하고; N 은 수신 안테나들의 수에 대응하고; hik 는 i번째 안테나 및 k번째 톤 상에서 캡처된 CSI 데이터에 대응하고 (예컨대, 실수 및 허수 컴포넌트를 갖는 복소수); f0 는 캐리어 주파수에 대응하고; l 은 안테나 스페이싱에 대응하고; c 는 광의 속도에 대응하고; △f 는 2개의 인접한 톤들 사이의 주파수 스페이싱에 대응한다. 식 (2) 의 관계는 다음과 같이 제공된다:
(2)
일부 경우들에서, IoT 디바이스 (302) 는 포지션 (309b) 에서의 사용자 (308) 의 존재 또는 움직임을 검출하기 위해 반사된 신호 (316) 에 대응하는 거리 및 도달 각도를 활용할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 는 텔레비전 (322) 과 같은 오브젝트를 검출 및 식별하기 위해 RF 감지를 사용할 수 있다. 예를 들어, IoT 디바이스 (302) 는, 텔레비전 (322) 으로부터의 반사된 신호 (328) 가 IoT 디바이스 (302) 에 의해 수신되게 할 수 있는 RF 신호 (326) 를 송신할 수 있다.
일부 양태들에서, IoT 디바이스 (302) 는, 사용자 (308) 및 텔레비전 (322) 과 같은 그 환경에서의 오브젝트들을 검출 및/또는 식별하기 위해 RF 감지 기법들을 사용함으로써 하나 이상의 디바이스 설정들 (예컨대, 음향 설정들) 을 구성할 수 있다. 일부 경우들에서, IoT 디바이스 (302) 는 사용자 (308) 의 존재, 움직임, 또는 식별을 검출하는 것에 기초하여 스피치 인식 소프트웨어 및/또는 하드웨어를 인에이블할 수 있다. 예를 들어, IoT 디바이스 (302) 는 사용자로부터의 키워드를 지속적으로 모니터링하는 하드웨어 및/또는 소프트웨어를 인에이블할 수 있다. 다른 예에서, IoT 디바이스 (302) 는, 키워드의 검출 없이 사용자로부터의 스피치를 검출 및 프로세싱하는 하드웨어 및/또는 소프트웨어를 인에이블할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 는 사용자 (308) 의 움직임, 포지션, 배향, 및/또는 식별에 기초하여 상이한 스피치 인식 알고리즘들을 구현할 수 있다.
일부 예들에서, IoT 디바이스 (302) 는, 오디오 신호들이 수신되는 방향에 기초하여 오디오 신호들을 프로세싱하는데 사용될 수 있는 하나 이상의 공간 사운드 필터들 (예컨대, 빔포머들) 을 구현할 수 있다. 예를 들어, 선호된 방향으로부터 발신하는 오디오 신호들을 보강적으로 결합하는 고정된 빔포머가 구현될 수 있다 (예컨대, 고정된 빔포머는 선호된 신호들을 증폭하는데 사용될 수 있음). 다른 예에서, 비-선호된 방향으로부터 발신하는 오디오 신호들을 파괴적으로 결합하는 널 빔포머 (예컨대, 차단 매트릭스) 가 구현될 수 있다 (예컨대, 널 빔포머는 간섭 신호들을 감쇠시키는데 사용될 수 있음). 일부 경우들에서, 오디오 신호들은 IoT 디바이스 (302) 상의 2개 이상의 마이크로폰들 (예컨대, 입력 디바이스들 (172) 에 대해 설명된 바와 같은 마이크로폰 어레이) 을 사용하여 수신될 수 있다.
일부 예들에서, IoT 디바이스 (302) 는 RF 감지를 사용하여 사용자 (308) 의 위치 (예컨대, 포지션 (309b)) 를 결정하고, 사용자 (308) 로부터 발신하는 오디오 신호들을 증폭하는데 사용될 수 있는 고정된 빔포머를 구성할 수 있다. 예를 들어, RF 감지 데이터는, 사용자 (308) 로부터 반사된 신호들 (예컨대, 반사된 신호 (316)) 에 대응하는 거리 및 도달 각도를 결정하는 데 사용될 수 있다. 일부 경우들에서, 반사된 RF 신호들의 거리 및 도달 각도는, 사용자 (308) 로부터의 오디오 신호 (324) 를 증폭하는 고정된 빔포머를 구성하는데 사용될 수 있다. 일부 양태들에서, RF 감지 기법들을 사용하여 획득된 위치 정보는, 사용자 (308) 로부터의 오디오 신호 (324) 가 검출되기 전에 고정된 빔포머를 구현하는데 사용될 수 있다. 다른 양태들에서, RF 감지 기법들을 사용하여 획득된 위치 정보는, 사용자 (308) 로부터의 오디오 신호 (324) 가 검출된 이후에 고정된 빔포머를 구성 및/또는 조정하는데 사용될 수 있다.
일부 예들에서, IoT 디바이스 (302) 는, 텔레비전 (322) 을 식별하고 텔레비전 (322) 의 위치를 결정하기 위해 RF 감지를 사용할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 는 텔레비전 (322) 을 음향 간섭 오브젝트 (예컨대, 사용자 (308) 로부터의 스피치를 검출 및 프로세싱하는 것을 간섭할 수 있는 사운드를 생성하는 오브젝트) 로서 분류할 수 있다. 일부 예들에서, IoT 디바이스 (302) 는, RF 감지 기법들을 사용하여 획득된 텔레비전 (322) 의 포지션을 향해 지향되는 널 빔포머를 구현함으로써 텔레비전 (322) 으로부터의 간섭 오디오를 감쇠시킬 수 있다. 일부 양태들에서, RF 감지 기법들을 사용하여 획득된 위치 정보는, 텔레비전 (322) 으로부터의 오디오 신호 (330) 가 검출되기 전에 널 빔포머를 구현하는데 사용될 수 있다. 다른 양태들에서, RF 감지 기법들을 사용하여 획득된 위치 정보는, 텔레비전 (322) 으로부터의 오디오 신호 (330) 가 검출된 이후에 널 빔포머를 구성 및/또는 조정하는데 사용될 수 있다.
일부 경우들에서, IoT 디바이스 (302) 는, 서로 근접해 있는 2개 이상의 사운드 소스들을 식별하기 위해 RF 감지를 사용할 수 있다. 예를 들어, IoT 디바이스 (302) 는, 포지션 (309b) 에서의 사용자 (308) 가 텔레비전 (322) 에 매우 근접해 있음을 결정할 수 있다. 일부 예들에서, 2개의 사운드 소스들의 근접은 스피치 인식을 저하시키는 간섭을 야기할 수 있다 (예컨대, 텔레비전 (322) 으로부터의 오디오 신호 (330) 는 사용자 (308) 로부터의 오디오 신호 (324) 의 수신 및 프로세싱을 간섭할 수 있음).
일부 예들에서, IoT 디바이스 (302) 는, 스피치의 수신 및 프로세싱을 개선하는데 사용될 수 있는 명령들 또는 피드백을 사용자 (308) 에게 제공할 수 있다. 예를 들어, IoT 디바이스 (302) 는, IoT 디바이스 (302) 에 더 가깝게 이동하도록 사용자 (308) 에게 명령할 수 있다. 다른 예에서, IoT 디바이스 (302) 는, 사용자 (308) 가 IoT 디바이스 (302) 로부터 멀리 향하고 있음을 결정할 수 있으며, IoT 디바이스 (302) 를 향해 회전하도록 사용자 (308) 에게 명령할 수 있다. 다른 예에서, IoT 디바이스 (302) 는, 간섭 사운드 소스가 사용자 (308) 근처에 있음을 결정할 수 있으며, IoT 디바이스 (302) 는 간섭 사운드 소스 (예컨대, 텔레비전 (322)) 으로부터 멀리 이동하도록 사용자 (308) 에게 명령할 수 있다.
일부 경우들에서, 사용자 (308) 는 텔레비전 (322) 으로부터 멀리 제 3 포지션 (309c) 으로 이동할 수 있다. IoT 디바이스 (302) 는, 사용자 (308) 로부터의 반사들을 야기하는 추가적인 신호들을 송신함으로써 사용자 (308) 의 움직임을 검출하기 위해 RF 감지를 사용할 수 있다. 예를 들어, IoT 디바이스 (302) 는 포지션 (309c) 에서의 사용자 (308) 로부터 반사된 신호 (320) 를 야기하는 RF 신호 (318) 를 송신할 수 있다. 반사된 신호 (320) 와 연관된 RF 감지 데이터에 기초하여, IoT 디바이스 (302) 는 포지션 (309c) 에서의 사용자 (308) 의 존재를 결정하고, 사용자의 배향을 검출하고, 사용자 (308) 를 식별할 수 있다.
일부 양태들에서, IoT 디바이스 (302) 는, 포지션 (309c) 에서의 사용자 (308) 로부터 반사된 신호들에 대응하는 RF 감지 데이터에 기초하여 고정된 빔포머를 구성 및/또는 조정할 수 있다. 일부 예들에서, 고정된 빔포머는 포지션 (309c) 에서의 사용자 (308) 로부터 오디오 신호 (332) 를 수신 및 프로세싱하는데 사용될 수 있다. 일부 양태들에서, 사용자 (308) 가 포지션 (309c) 에 있을 때 텔레비전 (322) 으로부터의 오디오 신호 (330) 를 감쇠시키는 널 빔포머가 구현될 수 있다.
일부 구현들에서, IoT 디바이스 (302) 는 모션 검출, 오브젝트 분류, 및/또는 사용자 (308) 의 식별을 수행하기 위해 인공 지능 또는 머신 러닝 알고리즘들을 활용할 수도 있다. 일부 예들에서, 머신 러닝 기법들은 뉴럴 네트워크들, 선형 및 로지스틱 회귀, 분류 트리들, 서포트 벡터 머신, 임의의 다른 적합한 지도형 머신 러닝 기법, 또는 이들의 임의의 조합을 활용하는 것들과 같은 지도형 머신 러닝 기법들을 포함할 수 있다. 예를 들어, 샘플 RF 감지 데이터의 데이터세트는 인공 지능 또는 머신 러닝 알고리즘들의 트레이닝을 위해 선택될 수 있다.
일부 양태들에서, IoT 디바이스 (302) 및 AP (304) 는 서로와의 또는 Wi-Fi 네트워크와의 그들의 연관에 무관하게 RF 감지 기법들을 수행할 수 있다. 예를 들어, IoT 디바이스 (302) 는, 임의의 액세스 포인트 또는 Wi-Fi 네트워크와 연관되지 않을 때 본 명세서에서 논의된 바와 같이 RF 감지를 수행하기 위해 그의 Wi-Fi 송신기 및 Wi-Fi 수신기를 활용할 수 있다. 추가의 예들에서, AP (304) 는, 연관된 임의의 무선 디바이스들을 갖는지에 무관하게 RF 감지 기법들을 수행할 수 있다.
일부 경우들에서, AP (304) 는 RF 감지를 수행하고, RF 감지 데이터를 IoT 디바이스 (302) 에 제공할 수 있다. 예를 들어, AP (304) 는, 사용자 (308) 가 포지션 (309a) 에 있음을 결정하기 위해 RF 감지 기법들을 구현할 수 있다. 일부 경우들에서, AP (304) 는, 포지션 (309a) 에서의 사용자 (308) 에 대응하는 RF 감지 데이터를 IoT 디바이스 (302) 로 전송할 수 있다. 일부 예들에서, AP (304) 는, 사용자 (308) 가 포지션 (309a) 에 있음을 결정하기 위해 RF 감지 데이터를 사용할 수 있으며, AP (304) 는 사용자 (308) 의 포지션을 표시하는 데이터를 IoT 디바이스 (302) 로 전송할 수 있다. 일부 양태들에서, IoT 디바이스 (302) 는, 하나 이상의 공간 사운드 필터들을 구현하기 위해 다른 무선 디바이스 (예컨대, AP (304)) 로부터 수신된 포지션 데이터 및/또는 RF 감지 데이터를 사용할 수 있다.
도 4 는 RF 감지 디바이스 (402), IoT 디바이스 (404), 및 사용자 (406) 를 포함하는 환경 (400) 을 예시한 다이어그램이다. 일부 예들에서, RF 감지 디바이스는, RF 감지를 수행하도록 구성될 수 있는 하나 이상의 RF 인터페이스들 (예컨대, Wi-Fi, 5G/NR, BluetoothTM) 을 갖는 디바이스 (예컨대, IoT 디바이스 (107), 무선 디바이스 (200)) 에 대응할 수 있다. 일부 양태들에서, IoT 디바이스 (404) 는, 하나 이상의 오디오 기능들 (예컨대, 가상 어시스턴트, 스피치 인식 등) 을 수행하도록 구성될 수 있는 하나 이상의 마이크로폰들을 갖는 디바이스에 대응할 수 있다. 일부 경우들에서, RF 감지 디바이스 (402) 및 IoT 디바이스 (404) 는 동일한 디바이스에 대응할 수 있다.
일부 예들에서, RF 감지 디바이스 (402) 는 사용자 (406) 를 검출하기 위해 RF 감지 기법들을 구현할 수 있다. 예를 들어, RF 감지 디바이스 (402) 는, 사용자 (406) 에 대응하는 존재, 움직임, 및/또는 아이덴티티를 결정하기 위해 하나 이상의 반사된 RF 파형들 (예컨대, 반사된 파형 (410)) 을 수신할 수 있다. 일부 경우들에서, RF 감지 디바이스 (402) 는 사용자 (406) 의 모션 (408) 을 감지하기 위해 RF 감지 데이터를 사용할 수 있다.
일부 예들에서, 사용자 (408) 의 모션 또는 움직임은, 사용자 (408) 가 IoT 디바이스 (418) 와 맞물리도록 의도함을 결정하기 위해 RF 감지 디바이스 (402) 에 의해 사용될 수 있다. 예를 들어, RF 감지 디바이스 (402) 는, 사용자 (408) 가 IoT 디바이스 (404) 를 향해 걷고 있음을 결정하기 위해 RF 감지 데이터를 사용할 수도 있다. 일부 양태들에서, IoT 디바이스 (404) 는, 전력 또는 배터리 수명을 보존하기 위해 오프 또는 디스에이블된 상태에 있을 수 있는 오디오 검출 디바이스를 포함할 수 있다. 일부 경우들에서, IoT 디바이스 (404) 에서의 오디오 검출 디바이스는 사용자 (408) 의 움직임에 응답하여 인에이블될 수 있다. 일부 예들에서, 오디오 검출 디바이스는, 사용자 (408) 로부터 하나 이상의 키워드들을 검출하도록 구성되는 저전력 집적 회로 (IC) 에 대응할 수 있다. 일부 경우들에서, 오디오 검출 디바이스는, 사용자 (408) 로부터의 오디오 (420) 를 검출, 캡처, 저장, 및/또는 프로세싱하도록 구성될 수 있는 마이크로프로세서 (예컨대, 어플리케이션 프로세서 또는 디지털 신호 프로세서) 에 대응할 수 있다.
일부 양태들에서, RF 감지 디바이스 (402) 는 제스처 검출 모드 (412) 를 구현할 수 있다. 일부 예들에서, 제스처 검출 모드 (412) 는 사용자 (406) 의 움직임에 응답하여 인에이블될 수 있다. 예를 들어, RF 감지는, 사용자 (406) 가 RF 감지 디바이스 (402) 및/또는 IoT 디바이스 (404) 의 임계 거리 내에 있음을 결정하는 것에 응답하여 제스처 검출 모드 (412) 를 인에이블할 수 있다. 일부 경우들에서, 제스처 검출 모드 (412) 는 모션 감지 (408) 와 함께 또는 그에 대한 대안으로서 구현될 수 있다.
일부 예들에서, 모션 감지 (408) 및/또는 제스처 검출 모드 (412) 는, RF 감지 데이터를 프로세싱하도록 구성될 수 있는 마이크로프로세서 (예컨대, 디지털 신호 프로세서 (DSP), 어플리케이션 프로세서 (AP), 어플리케이션 특정 집적 회로 (ASIC)) 에 의해 구현될 수 있다. 일부 경우들에서, RF 감지 데이터는 RF 감지 디바이스 (402) 에 의해 프로세싱될 수 있고/있거나 RF 감지 데이터는 프로세싱을 위해 서버 (예컨대, 클라우드) 로 전송될 수 있다.
일부 예들에서, 제스처 검출 모드 (412) 는 사용자 (406) 에 의한 하나 이상의 제스처들을 식별하기 위해 RF 감지 데이터를 사용할 수 있다. 일부 경우들에서, 사용자 (406) 는, 사용자 (406) 가 IoT 디바이스 (418) 와 맞물리도록 의도함을 표시하는데 사용될 수 있는 사지 (limb), 손, 얼굴, 또는 다른 신체 부위를 사용하여 제스처를 수행할 수도 있다. 예를 들어, RF 감지 디바이스 (402) 는, 사용자 (408) 가 IoT 디바이스 (404) 를 인에이블하도록 의도되는 제스처를 수행하였음을 결정하기 위해 RF 감지 데이터를 사용할 수도 있다.
상기에서 언급된 바와 같이, IoT 디바이스 (404) 는, 사용자 (408) 의 움직임에 응답하여 또는 사용자 (408) 의 제스처에 응답하여 인에이블될 수 있는 오디오 검출 디바이스를 포함할 수 있다. 일부 예들에서, RF 감지 디바이스 (402) 및 IoT 디바이스 (404) 는 링크 (416) 를 사용하여 통신할 수 있다. 일부 예들에서, 링크 (416) 는 WiFi, BluetoothTM, 5G/NR, 또는 임의의 다른 적합한 무선 프로토콜과 같은 무선 통신들을 사용하여 구현될 수 있다. 일부 경우들에서, RF 감지 디바이스 (402) 는, 하드웨어 및/또는 소프트웨어로 하여금 사용자 (406) 로부터의 오디오 (420) 의 스피치 인식을 수행할 수 있게 하는 신호 또는 메시지를 IoT 디바이스 (418) 로 전송하기 위해 링크 (416) 를 사용할 수 있다.
일부 양태들에서, IoT (404) 상의 오디오 검출 디바이스는, RF 감지 디바이스 (402) 를 제어하는데 사용될 수 있는 하나 이상의 커맨드들을 사용자 (406) 로부터 수신하도록 구성될 수 있다. 예를 들어, IoT 디바이스 (404) 는, (예컨대, 링크 (416) 를 사용하여) 제스처 검출 모드 (412) 를 인에이블하는데 사용될 수 있는 하나 이상의 키워드들을 사용자 (406) 로부터 캡처 및 프로세싱할 수도 있다. 일부 예들에서, RF 감지 디바이스 (402) 는 사용자 (406) 의 모션을 감지하는 것 (408) 에 응답하여 대기 (standby) 또는 준비 (ready) 모드를 구현할 수 있다. 일부 경우들에서, RF 감지 디바이스 (402) 는 사용자 (406) 의 모션을 계속 감지하면서 대기 또는 준비 모드를 유지할 수 있다. 일부 양태들에서, IoT 디바이스 (404) 는 RF 감지 디바이스 (402) 로 하여금 사용자 (406) 로부터의 커맨드에 응답하여 제스처 검출 모드 (412) 를 수행하게 할 수 있다.
도 5a 는 RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스 (500) 의 일 예를 예시한 플로우 다이어그램이다. 프로세스 (500) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 502 에서 시작할 수도 있다. 동작 504 에서, 전자 디바이스는 RF 감지를 사용하여 오브젝트 검출 및 인식을 수행할 수도 있다. 일부 양태들에서, RF 감지를 사용한 오브젝트 검출 및 인식은 RF 신호를 송신하는 것 및 전자 디바이스를 둘러싼 환경에서의 하나 이상의 리플렉터들로부터 반사된 신호들을 수신하는 것을 포함할 수 있다. 일부 양태들에서, RF 감지는, 도 6, 도 7, 및 도 8 에 관하여 추가로 논의되는 바와 같이, 저 분해능 알고리즘, 중간 분해능 알고리즘, 또는 고 분해능 알고리즘을 사용하여 구현될 수 있다.
일부 예들에서, 전자 디바이스는, 반사된 신호들의 거리 및 도달 각도를 결정하기 위해 하나 이상의 반사된 신호들과 연관된 RF 감지 데이터를 사용할 수도 있다. 일부 양태들에서, 반사된 신호들의 거리 및 도달 각도는 하나 이상의 리플렉터들과 연관된 위치, 치수들, 형상, 배향, 움직임, 아이덴티티, 및/또는 다른 특성들을 결정하는데 사용될 수 있다.
일부 예들에서, 전자 디바이스는 환경 (예컨대, 방, 건물, 집 등) 의 맵을 생성하기 위해 RF 감지 데이터를 사용할 수 있다. 일부 양태들에서, 전자 디바이스는 추가로, 환경에서 사운드를 생성하고/하거나 음파들의 전파에 영향을 줄 수도 있는 리플렉터들을 식별하기 위해 환경의 맵 내에서 리플렉터들 (예컨대, 인간들, 애완동물들, 정적 오브젝트들, 트랜션트 오브젝트들, 구조적 엘리먼트들 등) 을 분류할 수 있다.
일부 양태들에서, 오브젝트 검출 및/또는 인식은 (예컨대, 스피치 커맨드가 수신되기 전에) 사용자를 검출 및 식별하는 것을 포함할 수 있다. 일부 경우들에서, RF 감지 데이터는 (예컨대, 신장에 기초하여) 성인과 어린이 사이를 구별하는데 사용될 수 있다. 일부 예들에서, RF 감지 데이터는, 하나 이상의 물리적 특성들 (예컨대, 형상, 신장, 얼굴 특성들, 신체 부위 특성들 등) 에 기초하여 사용자를 식별하는 전자 디바이스 상에 로컬로 또는 원격으로 (예컨대, 서버 상에) 저장된 데이터와 프로세싱 및 비교될 수 있다.
일부 경우들에서, 전자 디바이스는 리플렉터들을 분류/식별하고, 사용자들을 식별하고, 및/또는 맵을 생성하기 위해 인공 지능 및/또는 머신 러닝 알고리즘들을 활용할 수도 있다. 일부 예들에서, 전자 디바이스들은 맵들을 추가로 개발하기 위해 데이터 (RF 감지 데이터, 맵 데이터, 리플렉터 분류들 등) 를 다른 전자 디바이스들에 전송 및/또는 수신할 수도 있다.
동작 506 에서, 전자 디바이스는 RF 감지 데이터에 기초하여 사운드 소스가 검출되었는지 여부를 결정할 수 있다. 일부 예들에서, 사운드 소스는, 사운드를 생성하는 것으로 식별된 리플렉터일 수 있다. 예를 들어, 사운드 소스는 인간, 애완동물, 전자 디바이스 (예컨대, 텔레비전, 라디오, 스마트 스피커, 컴퓨터, 로봇 등), 어플라이언스 (예컨대, 냉장고, 식기 세척기, 에어컨, 진공 청소기 등), 차량, 수영장 펌프, 수도꼭지, 샤워기, 또는 사운드를 생성하는 임의의 다른 것을 포함할 수 있다. 사운드 소스들이 검출되지 않으면, 프로세스 (500) 는 동작 504 로 리턴하고, RF 감지를 사용하여 오브젝트 검출 및/또는 인식을 추가로 수행할 수 있다.
동작 506 에서 사운드 소스가 검출되면, 프로세스는 사운드 소스의 포지션을 결정하기 위해 동작 508 로 진행할 수 있다. 일부 양태들에서, 사운드 소스의 포지션은, 환경 (300) 에 관하여 설명된 바와 같이 RF 감지 데이터 (예컨대, 반사된 신호들의 거리 및 도달 각도) 에 기초하여 결정될 수 있다. 일부 예들에서, 사운드 소스의 포지션은, RF 감지 데이터를 사용하여 생성되는 실내 환경의 맵에 기초하여 획득될 수 있다.
동작 510 에서, 프로세스 (500) 는 환경에서의 사운드 소스들의 식별 및/또는 포지션에 기초하여 하나 이상의 음향 설정들을 구성하는 것을 포함할 수 있다. 일부 양태들에서, 음향 설정들을 구성하는 것은, 전자 디바이스가 사용자로부터의 음성 커맨드들을 검출할 수 있도록 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것을 포함할 수 있다. 일부 예들에서, 음향 설정들을 구성하는 것은 빔포머와 같은 공간 사운드 필터들을 구현하는 것을 포함할 수 있다. 예를 들어, 사운드 소스로서 분류된 리플렉터의 포지션은, 고정된 빔포머 및/또는 널 빔포머를 구현하는데 사용될 수 있다. 일부 양태들에서, 고정된 빔포머는, 선호된 방향 (예컨대, 인간 사용자의 위치) 으로부터 발신하는 오디오 신호들을 증폭하는데 사용될 수 있다. 일부 예들에서, 널 빔포머는 비-선호된 방향들 (예컨대, 음향 간섭 오브젝트들의 위치) 로부터 발신하는 오디오 신호들을 감쇠시키는데 사용될 수 있다. 일부 양태들에서, 빔포머는 GSC (Generalized Sidelobe Canceller) 구성을 사용하여 구현될 수 있다. 일부 예들에서, 빔포머와 연관된 파라미터들 (예컨대, 필터 초기화 가중치들, 차단 행렬 등) 이 RF 감지 데이터에 기초하여 구성될 수 있다. 일부 경우들에서, 음향 설정들을 구성하는 것은 RF 감지 데이터에 기초하여 음향 에코 소거 (AEC) 알고리즘의 초기화를 포함할 수 있다.
일부 경우들에서, 음향 설정들을 구성하는 것은 클라우드 기반 어플리케이션에 대한 하나 이상의 파라미터들을 개시하는 것을 포함할 수 있다. 예를 들어, 사용자의 식별에 기초하여, 전자 디바이스는 클라우드 기반 음악 스트리밍 서비스와 통신하여 사용자 특정 파라미터들을 확립 (예컨대, "프리미엄" 사용자 옵션들 대 "정상" 사용자 옵션들을 로딩; 사용자에 대응하는 커스텀 플레이리스트를 로딩 등등) 할 수도 있다. 다른 예에서, 특정 환경에서 사용자 존재를 검출하는 것은 사물 인터넷 디바이스를 제어 (예컨대, 방 안의 조명을 턴온) 하는 클라우드 기반 서비스를 트리거하는데 사용될 수 있다. 다른 예에서, 전자 디바이스는 특정 사용자들에게 적절하지 않은 콘텐츠 및/또는 어플리케이션들을 디스에이블할 수도 있다 (예컨대, 어린이들에게 부적절한 비디오들 또는 음악에 대한 액세스를 디스에이블할 수도 있음). 다른 예에서, 음향 설정들을 구성하는 것은 자동 스피치 인식을 위해 사용자에 대응하는 타겟팅된 언어 모델을 로딩하는 것을 포함할 수 있다.
도 5b 는 RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스 (500) 의 다른 예를 예시한 플로우 다이어그램이다. 프로세스 (500) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 502 에서 시작할 수도 있다. 동작 504 에서, 전자 디바이스는 RF 감지를 사용하여 오브젝트 검출 및 인식을 수행할 수도 있다. 상기에서 언급된 바와 같이, RF 감지를 사용한 오브젝트 검출 및 인식은 RF 신호를 송신하는 것 및 전자 디바이스를 둘러싼 환경에서의 하나 이상의 리플렉터들로부터 반사된 신호들을 수신하는 것을 포함할 수 있고, 도 6, 도 7, 및 도 8 에 관하여 추가로 논의되는 바와 같이, 저 분해능 알고리즘, 중간 분해능 알고리즘, 또는 고 분해능 알고리즘을 사용하여 구현될 수 있다.
동작 506 에서, 전자 디바이스는 RF 감지 데이터에 기초하여 사운드 소스가 검출되었는지 여부를 결정할 수 있다. 일부 예들에서, 사운드 소스는, 사운드를 생성하는 것으로 식별된 리플렉터일 수 있다. 예를 들어, 사운드 소스는 인간, 애완동물, 전자 디바이스 (예컨대, 텔레비전, 라디오, 스마트 스피커, 컴퓨터, 로봇 등), 어플라이언스 (예컨대, 냉장고, 식기 세척기, 에어컨, 진공 청소기 등), 차량, 수영장 펌프, 수도꼭지, 샤워기, 또는 사운드를 생성하는 임의의 다른 것을 포함할 수 있다. 사운드 소스들이 검출되지 않으면, 프로세스 (500) 는 전자 디바이스가 (예컨대, 하나 이상의 마이크로폰들을 사용하여) 사운드를 모니터링하는 동작 512 로 진행할 수 있다. 사운드가 검출되지 않으면, 프로세스 (500) 는 동작 504 로 리턴하고, RF 감지를 사용하여 오브젝트 검출 및/또는 인식을 추가로 수행할 수 있다.
동작 506 에서 사운드 소스가 검출되면, 프로세스는 사운드 소스의 포지션을 결정하기 위해 동작 508 로 진행할 수 있다. 일부 양태들에서, 사운드 소스의 포지션은, 환경 (300) 에 관하여 설명된 바와 같이 RF 감지 데이터 (예컨대, 반사된 신호들의 거리 및 도달 각도) 에 기초하여 결정될 수 있다. 일부 예들에서, 사운드 소스의 포지션은, RF 감지 데이터를 사용하여 생성되는 실내 환경의 맵에 기초하여 획득될 수 있다.
동작 510 에서, 프로세스 (500) 는 환경에서의 사운드 소스들의 식별 및/또는 포지션에 기초하여 하나 이상의 음향 설정들을 구성하는 것을 포함할 수 있다. 상기에서 언급된 바와 같이, 일부 양태들에서, 음향 설정들을 구성하는 것은 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것, 공간 사운드 필터들을 구현하는 것, 하나 이상의 어플리케이션들에 대한 파라미터들을 개시하는 것, 및/또는 임의의 다른 디바이스 설정을 구성하는 것을 포함할 수 있다.
동작 512 에서, 전자 디바이스는 사운드를 모니터링할 수 있다. 사운드가 검출되면, 프로세스 (500) 는 동작 513 으로 진행하고, 오디오 신호들의 도달 방향을 검출할 수 있다. 일부 양태들에서, 마이크로폰 어레이는 하나 이상의 오디오 신호들을 수신하도록 구성될 수 있다. 일부 경우들에서, 오디오 신호의 도달 방향은 2개 이상의 센서들 (예컨대, 마이크로폰들) 사이의 도달 시간 차이 (TDOA) 에 기초하여 결정될 수 있다. 일부 예들에서, 오디오 신호들의 도달 방향은 음향 설정들 (예컨대, 동작 510 에 관하여 설명된 음향 설정들) 을 구성하거나 조정하는데 사용될 수 있다.
도 5c 는 RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스 (500) 의 다른 예를 예시한 플로우 다이어그램이다. 프로세스 (500) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 502 에서 시작할 수도 있다. 동작 504 에서, 전자 디바이스는 RF 감지를 사용하여 오브젝트 검출 및 인식을 수행할 수도 있다. 상기에서 언급된 바와 같이, RF 감지를 사용한 오브젝트 검출 및 인식은 RF 신호를 송신하는 것 및 전자 디바이스를 둘러싼 환경에서의 하나 이상의 리플렉터들로부터 반사된 신호들을 수신하는 것을 포함할 수 있고, 도 6, 도 7, 및 도 8 에 관하여 추가로 논의되는 바와 같이, 저 분해능 알고리즘, 중간 분해능 알고리즘, 또는 고 분해능 알고리즘을 사용하여 구현될 수 있다.
동작 506 에서, 전자 디바이스는 RF 감지 데이터에 기초하여 사운드 소스가 검출되었는지 여부를 결정할 수 있다. 일부 예들에서, 사운드 소스는, 사운드를 생성하는 것으로 식별된 리플렉터일 수 있다. 예를 들어, 사운드 소스는 인간, 애완동물, 전자 디바이스 (예컨대, 텔레비전, 라디오, 스마트 스피커, 컴퓨터, 로봇 등), 어플라이언스 (예컨대, 냉장고, 식기 세척기, 에어컨, 진공 청소기 등), 차량, 수영장 펌프, 수도꼭지, 샤워기, 또는 사운드를 생성하는 임의의 다른 것을 포함할 수 있다. 사운드 소스들이 검출되지 않으면, 프로세스 (500) 는 전자 디바이스가 (예컨대, 하나 이상의 마이크로폰들을 사용하여) 사운드를 모니터링하는 동작 512 로 진행할 수 있다. 사운드가 검출되지 않으면, 프로세스 (500) 는 동작 504 로 리턴하고, RF 감지를 사용하여 오브젝트 검출 및/또는 인식을 추가로 수행할 수 있다.
동작 506 에서 사운드 소스가 검출되면, 프로세스는 사운드 소스의 포지션을 결정하기 위해 동작 508 로 진행할 수 있다. 일부 양태들에서, 사운드 소스의 포지션은, 환경 (300) 에 관하여 설명된 바와 같이 RF 감지 데이터 (예컨대, 반사된 신호들의 거리 및 도달 각도) 에 기초하여 결정될 수 있다. 일부 예들에서, 사운드 소스의 포지션은, RF 감지 데이터를 사용하여 생성되는 실내 환경의 맵에 기초하여 획득될 수 있다.
동작 510 에서, 프로세스 (500) 는 환경에서의 사운드 소스들의 식별 및/또는 포지션에 기초하여 하나 이상의 음향 설정들을 구성하는 것을 포함할 수 있다. 상기에서 언급된 바와 같이, 일부 양태들에서, 음향 설정들을 구성하는 것은 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것, 공간 사운드 필터들을 구현하는 것, 하나 이상의 어플리케이션들에 대한 파라미터들을 개시하는 것, 및/또는 임의의 다른 디바이스 설정을 구성하는 것을 포함할 수 있다.
동작 512 에서, 전자 디바이스는 사운드를 모니터링할 수 있다. 사운드가 검출되면, 프로세스 (500) 는 동작 514 로 진행하고, 사운드 장면 이벤트 분류를 수행할 수 있다. 일부 양태들에서, 사운드 장면 이벤트 분류는 하나 이상의 수신된 오디오 신호들과 연관된 거리 및 도달 각도를 결정하는 것을 포함할 수 있다. 일부 예들에서, 수신된 오디오 신호들과 연관된 거리 및 도달 각도는 사운드 소스들을 식별 및/또는 분류하는데 사용될 수 있다. 일부 경우들에서, 사운드 장면 분류를 사용하여 획득된 데이터는 RF 감지를 사용하여 수행된 오브젝트 검출 및 식별에 대해 프로세싱, 결합 및/또는 상관될 수 있다. 하나의 예시적인 예에서, RF 감지는 텔레비전에 대응하는 사이즈 및 형상을 갖는 오브젝트를 식별할 수도 있고, (예컨대, 오브젝트의 위치로부터 수신된 오디오 신호에 기초한) 사운드 장면 분석은 오브젝트가 텔레비전임을 확인하는데 사용될 수 있다. 다른 예시적인 예에서, RF 감지는 특정 특성들 (예컨대, 신장, 형상, 얼굴 특징들, 신체 부위들 등) 에 기초하여 특정 사용자를 식별할 수도 있고, (예컨대, 사용자의 위치로부터 수신된 오디오 신호에 기초한) 사운드 장면 분석은 오디오 신호 특성들 (예컨대, 음성 시그너처) 을 물리적 사용자 특성들과 연관시키는데 사용될 수 있다.
일부 양태들에서, 사운드 장면 이벤트 분류는, 사운드 전파에 영향을 미치는 환경에서의 오브젝트들 또는 구조적 엘리먼트들을 식별하는 것을 포함할 수 있다. 예를 들어, 전자 디바이스는, 환경에서의 하나 이상의 리플렉터들에 의해 야기되는 다중의 오디오 신호 반사들에 기초하여 오디오 신호가 높은 잔향 레벨을 경험하고 있음을 결정할 수 있다. 일부 예들에서, 무선 디바이스는, 오디오 신호들의 도달 각도를 계산하는 것 및 RF 감지를 사용하여 식별된 리플렉터들의 위치와 비교하는 것에 의해 잔향들을 야기하는 리플렉터들을 식별할 수 있다. 예를 들어, 오디오 신호와 연관된 도달 각도 및/또는 비행 시간은, RF 감지를 사용하여 식별된 가구의 피스 또는 벽과 같은 리플렉터가 오디오 반사들을 야기하고 있음을 결정하는데 사용될 수 있다. 일부 양태들에서, 음향 설정들은, 잔향들에 대응하는 오디오 신호들을 필터링하도록 조정될 수 있다.
일부 예들에서, 사운드 장면 이벤트 분류는 다중의 오디오 소스들로부터 오디오 신호들을 수신하는 것 및 오디오 소스들 사이의 공간 분리를 결정하는 것을 포함할 수 있다. 예를 들어, 전자 디바이스는 사용자에 대응하는 제 1 오디오 신호 (예컨대, 오디오 신호 (324)) 및 음향 간섭 오브젝트에 대응하는 제 2 오디오 신호 (예컨대, 오디오 신호 (330)) 를 수신할 수도 있다. 일부 경우들에서, 사운드 소스들의 포지션 및/또는 공간 분리는 오디오 신호들 (예컨대, 도달 각도 및/또는 비행 시간) 을 프로세싱함으로써 결정될 수 있다. 오디오 신호들로부터 획득된 데이터는, 리플렉터들을 추가로 분류하고/하거나 환경의 맵을 전개하기 위해 RF 감지 데이터와 결합될 수 있다.
동작 516 에서, 프로세스 (500) 는 (예컨대, 사운드 장면 이벤트 분류에 기초하여) 음향 설정들을 구성하거나 조정하는 것을 포함할 수 있다. 일부 예들에서, 음향 설정들을 구성하거나 조정하는 것은 고정된 빔포머 및/또는 널 빔포머를 구현하는 것을 포함할 수 있다. 일부 예들에서, 사운드 장면 분류를 사용하여 획득된 데이터는, RF 감지를 사용하여 식별되지 않았고 그리고 원하는 오디오 신호를 간섭하고 있는 오디오 소스를 식별할 수도 있다. 이 사례에서, 널 빔포머는 간섭 오디오 소스와 연관된 신호들을 억제하는 것을 돕도록 구성될 수 있다. 다른 예에서, 사운드 장면 분류를 사용하여 획득된 데이터는, 사운드 소스의 위치를 추가로 정세화하고 고정된 빔포머와 연관된 파라미터들 (예컨대, 필터 계수들) 을 조정하는데 사용될 수 있다.
동작 518 에서, 프로세스 (500) 는 스피치가 전자 디바이스에 의해 인식되었는지 여부에 관한 결정을 포함한다. 스피치가 인식되지 않았으면, 프로세스 (500) 는, 전자 디바이스가 스피치 인식과 관련된 피드백 또는 명령들을 제공할 수 있는 동작 520 으로 진행할 수 있다. 일부 양태들에서, 피드백은 (예컨대, 사운드 장면 분류 및/또는 RF 감지에 기초하여) 전자 디바이스에 의해 식별된 간섭 사운드 소스들과 관련될 수 있다. 도 3 을 참조하면, 전자 디바이스는, 텔레비전 (322) 으로부터의 오디오 신호 (330) 가 포지션 (309b) 에서의 사용자 (308) 로부터의 오디오 신호 (324) 와 간섭하고 있음을 결정할 수 있다. 일부 예들에서, 전자 디바이스는 간섭 사운드 소스에 관한 명령들을 사용자에게 제공할 수도 있다. 예를 들어, 전자 디바이스는 "더 잘 이해할 수 있도록 왼쪽으로 이동해 주세요" 또는 "텔레비전으로부터 멀리 이동해 주세요" 라고 사용자에게 명령할 수도 있다.
일부 예들에서, 전자 디바이스는, 제 2 전자 디바이스가 스피치 인식을 수행하기 위해 더 잘 위치된다고 (예컨대, 사용자에 더 가깝게 위치된다고) 결정할 수도 있다. 예를 들어, 전자 디바이스는, RF 감지로 획득된 위치 데이터를 사용하여 결정되는 바와 같이, 사용자에 더 가까울 수도 있는 상이한 방에 위치되는 스마트 스피커에 커플링될 수도 있다. 일부 양태들에서, 전자 디바이스는, 스피치 인식을 인에이블하기 위해 제 2 전자 디바이스에 신호를 전송할 수도 있다. 일부 경우들에서, 전자 디바이스는, 사용자가 제 2 전자 디바이스에 주의를 기울여야 함을 표시하는 명령 (예컨대, "불이 깜박이는 스마트 어시스턴트를 향해 머리를 돌리세요.") 을 사용자에게 제공할 수도 있다. 동작 520 에서 명령들 또는 피드백을 제공한 이후, 프로세스는 동작 516 으로 리턴하여, 음향 설정들을 구성하거나 조정 (예컨대, 사용자 움직임에 기초하여 빔포밍 파라미터들을 조정) 할 수 있다.
동작 518 에서 스피치가 인식되면, 프로세스 (500) 는 동작 522 로 진행하여 화자 인식을 수행할 수 있다. 일부 양태들에서, 화자 인식은 디지털 신호 프로세싱, 머신 러닝 알고리즘들, 인공 지능 알고리즘들을 사용하여, 임의의 다른 적합한 기법을 사용하여, 또는 이들의 임의의 조합을 사용하여, 사용자로부터 수신된 오디오 신호를 프로세싱함으로써 수행될 수 있다. 일부 경우들에서, 화자 인식은 화자를, 사용자를 식별하는데 또한 사용될 수 있는 하나 이상의 RF 감지 특성들과 연관시키는 것을 포함할 수 있다. 일부 예들에서, 화자 인식은 또한, 사용자의 음성과 연관된 데이터에 기초한 빔포밍 파라미터들의 수정을 포함할 수 있다.
동작 524 에서, 프로세스는 사용자 옵션들 (예컨대, 식별된 사용자와 연관된 옵션들) 을 제시하는 것을 포함한다. 일부 예들에서, 사용자 옵션들을 제시하는 것은 사용자 프로파일 (예컨대, 디바이스 파라미터들, 어플리케이션 설정들 등) 에 대응하는 다이얼로그를 제시하는 것을 포함할 수 있다. 일부 양태들에서, 사용자 옵션들은 검출된 환경 또는 검출된 활동에 기초하여 제시될 수 있다. 예를 들어, 전자 디바이스 (예컨대, 모바일 폰) 는 스마트 스피커가 사용자와 동일한 방에 위치됨을 결정하고 스마트 스피커에 음악을 스트리밍하기 위한 옵션을 제시할 수도 있다.
도 6 은 RF 감지로 검출된 모션에 기초하여 음향 설정들을 구성하기 위한 프로세스 (600) 의 일 예를 예시한 플로우 다이어그램이다. 프로세스 (600) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 602 에서 시작할 수도 있다. 일부 양태들에서, 전자 디바이스는 잠금 상태에 있을 수도 있고, 그 디바이스의 스크린 (또는 디스플레이) 은 오프이다.
동작 604 에서, 디바이스는 디바이스의 근접도 내의 모션을 검출하기 위해 RF 감지를 수행할 수 있다. 일 예에서, 모션을 검출하기 위한 RF 감지는 (도 2 의 무선 디바이스 (200) 에 대해서와 같이, 상기에서 설명된 것과 유사한) 동시 송신 및 수신 기능들을 수행하도록 디바이스 상의 RF 인터페이스를 구성함으로써 구현될 수 있다. 예를 들어, 디바이스 상의 Wi-Fi 인터페이스는, 하나 이상의 RF 신호들을 송신하고 그리고 송신된 RF 신호에 대응하는 하나 이상의 반사된 신호들을 동시에 (또는 거의 동시에) 수신하도록 구성될 수 있다.
일부 구현들에서, 디바이스는, 송신된 RF 신호의 대역폭, 공간 스트림들의 수, RF 신호를 송신하도록 구성된 안테나들의 수, RF 신호를 수신하도록 구성된 안테나들의 수, 공간 링크들의 수 (예컨대, RF 신호를 수신하도록 구성된 안테나들의 수에 의해 승산된 공간 스트림들의 수), 샘플링 레이트, 또는 이들의 임의의 조합과 같은 파라미터들에 기초하여 RF 감지 분해능의 다양한 레벨들을 갖는 RF 감지 알고리즘들을 구현하도록 구성될 수 있다. 예를 들어, 디바이스는, 대역폭, 샘플링 레이트, 및/또는 공간 링크들에 관한 하나 이상의 파라미터들을 조정함으로써 디바이스가 잠금 또는 슬립 상태에 있을 때 디바이스의 근접도에서의 모션을 검출할 수 있는 알고리즘을 구현할 수도 있다.
예를 들어, 일부 경우들에서, 디바이스는, 송신 안테나들의 각각으로부터 독립적이고 별도로 코딩된 신호들 (예컨대, 스트림들) 을 송신하는데 사용될 수 있는 공간 스트리밍 또는 멀티플렉싱 기법들을 사용하여 송신하도록 구성될 수도 있다. 예를 들어, 4개의 안테나들을 갖는 무선 디바이스는, 하나의 안테나를 송신하도록 구성하고 나머지 3개의 안테나들을 수신하도록 구성함으로써 1x3 구성 (예컨대, 3개의 공간 링크들을 초래할 1개의 공간 스트림 및 3개의 RX 안테나들) 을 구현하도록 구성될 수 있다 (예컨대, 이 경우, 하나의 TX 안테나는 다른 3개의 RX 안테나들에 의해 수신될 수 있는 공간 스트림을 송신할 수 있음). 다른 예에서, 무선 디바이스는, 송신하도록 구성되는 2개의 안테나들을 통해 독립적인 신호들을 송신함으로써 2x2 구성 (예컨대, 4개의 공간 링크들을 초래할 2개의 공간 스트림들 및 2개의 RX 안테나들) 을 구현할 수도 있으며, 이 신호들은 수신하도록 구성되는 2개의 안테나들에 의해 수신될 수 있다.
일부 구성들에서, 디바이스는, 대역폭 및 샘플링 주파수 뿐만 아니라 공간 링크들의 수를 수정하는 것 (예컨대, 공간 스트림들의 수 및/또는 수신 안테나들의 수를 조정하는 것) 에 의해 RF 감지 분해능의 레벨을 조정할 수 있다. 일부 경우들에서, 디바이스는 (예컨대, 비교적 낮은 대역폭, 낮은 수의 공간 링크들, 및 낮은 샘플링 레이트를 갖는) 저 분해능 RF 감지 알고리즘을 구현할 수 있으며, 이는 적은 양의 전력을 소비하고, 디바이스가 잠금 또는 슬립 상태에 있을 때 백그라운드에서 동작할 수 있다. 하나의 예시적인 예에서, 디바이스는, 대략 20 MHz 의 대역폭을 갖는 신호를 송신하기 위해 단일 공간 링크를 활용하도록 RF 인터페이스를 구성함으로써 그리고 100 ms 내지 500 ms 의 범위에 있을 수 있는 샘플링 레이트를 활용함으로써 모션 검출을 수행할 수 있다. 당업자는 본 명세서에 기술된 파라미터들 및 대응하는 값들이 예시적인 구성들로서 제공되고 그리고 개시된 시스템들 및 기법들이 파라미터들 및 값들의 상이한 변동들을 사용하여 구현될 수도 있음을 이해할 것이다.
동작 606 에서, 디바이스는 RF 감지 데이터에 기초하여 모션이 검출되는지 여부를 결정할 수 있다. 디바이스는 신호 프로세싱, 머신 러닝 알고리즘들을 활용함으로써, 임의의 다른 적합한 기법을 사용함으로써, 또는 이들의 임의의 조합에 의해, 모션을 검출할 수도 있다. 모션이 검출되지 않으면, 프로세스 (600) 는 동작 608 로 진행할 수 있으며, 여기서, 디바이스는 모션을 검출하기 위해 RF 감지를 계속 수행한다. 그러한 경우들에서, 디바이스는 저 분해능 RF 감지 알고리즘을 사용하여 RF 감지를 계속 수행할 수 있다.
동작 606 에서 모션이 검출되면, 프로세스 (600) 는 동작 610 으로 진행하고, 검출된 모션에 기초하여 디바이스 설정들 (예컨대, 음향 설정들) 을 구성할 수 있다. 일부 양태들에서, 검출된 모션은 디바이스의 임계 근접도 내의 인간에 대응할 수 있다. 일부 예들에서, 디바이스 설정들을 구성하는 것은, 모션이 디바이스의 임계 근접도 내에 있을 때 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것을 포함할 수 있다. 일부 경우들에서, 디바이스 설정들을 구성하는 것은, 검출된 모션의 포지션을 향해 지향되는 고정된 빔포머 또는 널 빔포머와 같은 공간 사운드 필터를 구현하는 것을 포함할 수 있다.
도 7 은 RF 감지로 검출된 사용자 존재에 기초하여 음향 설정들을 구성하기 위한 프로세스 (700) 의 일 예를 예시한 플로우 다이어그램이다. 프로세스 (700) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 702 에서 시작할 수도 있다. 일부 양태들에서, 전자 디바이스는 잠금 상태에 있을 수도 있고, 그 디바이스의 스크린 (또는 디스플레이) 은 오프이다.
동작 704 에서, 디바이스는 디바이스의 임계 거리 또는 근접도 내의 사용자의 존재를 검출하기 위해 RF 감지를 수행할 수 있다. 일 예에서, 사용자 존재를 검출하는 것은 사용자의 신체 부위 (예컨대, 머리, 다리, 팔, 몸통 등) 의 존재를 검출하고 식별하는 것을 포함할 수 있다. 일부 구현들에서, 사용자 존재를 검출하기 위한 RF 감지는, 프로세스 (600) 에 관하여 논의된 바와 같이, 모션의 검출에 응답하여 수행될 수 있다. 예를 들어, 디바이스는, 모션의 검출을 위한 저전력 동작을 제공하는 파라미터들 (예컨대, 대역폭, 샘플링 레이트, 공간 스트림들, 공간 링크들, 이들의 임의의 조합, 및/또는 다른 파라미터들) 을 사용함으로써 RF 감지를 구현할 수도 있다. 모션을 검출하는 것에 응답하여, 디바이스는, 사용자 존재를 검출하기 위해 구성될 수 있는 파라미터들의 상이한 세트 (예컨대, 상이한 대역폭, 상이한 샘플링 레이트, 상이한 공간 스트림들, 상이한 공간 링크들 등) 를 사용하여 RF 감지를 구현할 수도 있다.
일 예에서, 방 내의 책상 위에 설정된 디바이스는, 사용자가 방 주위를 걷고 있지만 디바이스에 아직 근접 (예컨대, 임계 거리 내) 하지 않은 것을 검출하기 위해 프로세스 (600) 에 관하여 논의된 기법들을 사용할 수도 있다. 사용자가 디바이스를 향해 이동하고 있는 것을 검출할 시, 디바이스는, 인체의 일부분을 검출함으로써 사용자 존재를 검출하도록 구성될 수 있는 (예컨대, 도 7 의 프로세스 (700) 에 따른) 상이한 RF 감지 알고리즘을 구현할 수도 있다.
사용자 존재를 검출하기 위한 RF 감지는, 동시 송신 및 수신 기능들을 수행하도록 디바이스 상의 RF 인터페이스를 구성함으로써 구현될 수 있다. 예를 들어, 디바이스 상의 RF 인터페이스는 하나 이상의 RF 신호들을 송신하고 송신된 RF 신호에 대응하는 하나 이상의 반사된 신호들을 동시에 수신하도록 구성될 수 있다.
상기에서 언급된 바와 같이, 일부 구현들에서, 디바이스는, 송신된 RF 신호의 대역폭, 공간 스트림들의 수, 공간 링크들의 수, 샘플링 레이트, 또는 이들의 임의의 조합과 같은 파라미터들에 기초하여 RF 감지 분해능의 다양한 레벨들을 갖는 RF 감지 알고리즘들을 구현하도록 구성될 수 있다. 예를 들어, 디바이스는, 대역폭, 샘플링 레이트, 공간 스트림들, 및/또는 공간 링크들에 관련된 하나 이상의 파라미터들을 조정함으로써 (예컨대, 머리의 존재를 검출하기 위해 머리 검출을 수행함으로써) 사용자 존재를 검출할 수 있는 알고리즘을 구현할 수도 있다. 일부 경우들에서, 디바이스는 (예컨대, 저 분해능 RF 감지 알고리즘에 비해 중간 대역폭, 중간 수의 공간 링크들, 및 중간 샘플링 레이트를 갖는) 중간 분해능 RF 감지 알고리즘을 구현할 수 있으며, 이는 더 높은 대역폭, 더 높은 수의 공간 링크들, 더 높은 샘플링 레이트, 또는 이들의 임의의 조합을 가짐으로써 저 분해능 RF 감지 알고리즘과는 상이할 수 있다. 예를 들어, 모션을 검출하기 위해 도 6 의 프로세스 (600) 에서 사용된 파라미터들에 비해, 디바이스는 대역폭을 증가시키고, (더 많은 샘플들을 수집하기 위해) 샘플링 레이트를 증가시키고, 및/또는 사용자 존재를 검출하기 위해 공간 링크들의 수를 증가시킬 수 있다. 하나의 예시적인 예에서, 디바이스는, 2개의 공간 링크들을 활용하고 대략 40 MHz 의 대역폭을 갖는 신호를 송신하도록 RF 인터페이스를 구성함으로써 그리고 대략 50 ms 일 수 있는 샘플링 레이트를 활용함으로써 사용자 존재를 검출할 수 있다. 프로세스 (600) 에 관하여 논의된 바와 같이, 당업자는 본 명세서에서 기술된 파라미터들 및 대응하는 값들이 예시적인 구성들로서 제공되고 그리고 개시된 시스템들 및 기법들이 파라미터들 및 값들의 상이한 변동들을 사용하여 구현될 수도 있음을 이해할 것이다.
동작 706 에서, 디바이스는 RF 감지 데이터에 기초하여 사용자 존재가 검출되는지 여부를 결정할 수 있다. 디바이스는 신호 프로세싱, 머신 러닝 알고리즘들을 활용함으로써, 임의의 다른 적합한 기법을 사용함으로써, 또는 이들의 임의의 조합에 의해, 사용자 존재를 검출할 수도 있다. 사용자 존재가 검출되지 않으면, 프로세스 (700) 는, 도 7 의 프로세스 (700) 를 사용하여 사용자 존재를 검출하기 위해 또는 도 6 의 프로세스 (600) 를 사용하여 모션을 검출하기 위해 디바이스가 RF 감지를 계속 수행하는 동작 708 로 진행할 수 있다. 그러한 경우들에서, 디바이스는 중간 분해능 RF 감지 알고리즘을 사용하여 RF 감지를 계속 수행할 수 있다.
동작 706 에서 사용자 존재가 검출되면, 프로세스 (700) 는 동작 710 으로 진행하고, 사용자 존재에 기초하여 디바이스 설정(들)을 구성할 수 있다. 일부 양태들에서, 사용자 존재는 디바이스의 임계 근접도 내에서 검출될 수 있다. 일부 예들에서, 디바이스 설정들을 구성하는 것은, 사용자 존재가 디바이스의 임계 근접도 내에 있을 때 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것을 포함할 수 있다. 일부 경우들에서, 디바이스 설정들을 구성하는 것은 사용자의 포지션을 향해 지향되는 고정된 빔포머 또는 널 빔포머와 같은 공간 사운드 필터를 구현하는 것을 포함할 수 있다.
도 8 은 RF 감지로 검출된 사용자 식별에 기초하여 음향 설정들을 구성하기 위한 프로세스 (800) 의 일 예를 예시한 플로우 다이어그램이다. 프로세스 (800) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 802 에서 시작할 수도 있다. 일부 양태들에서, 전자 디바이스는 잠금 상태에 있을 수도 있고, 그 디바이스의 스크린 (또는 디스플레이) 은 오프이다.
동작 804 에서, 디바이스는 사용자의 아이덴티티를 결정하기 위해 RF 감지를 수행할 수 있다. 일부 구현들에서, 사용자 아이덴티티를 결정하기 위한 RF 감지는, 프로세스 (700) 에 관하여 논의된 바와 같이, 사용자의 존재의 검출에 응답하여 수행될 수 있다. 예를 들어, 디바이스는 전력 소비를 최소화하면서 사용자 존재 (예컨대, 머리 존재) 를 검출하도록 구성되는 파라미터들 (예컨대, 대역폭, 샘플링 레이트, 공간 스트림들, 공간 링크들, 이들의 임의의 조합, 및/또는 다른 파라미터들) 을 사용함으로써 RF 감지를 구현할 수도 있다. 사용자 존재를 검출하는 것에 응답하여, 디바이스는, 사용자의 아이덴티티를 결정하기 위해 구성될 수 있는 파라미터들의 상이한 세트 (예컨대, 대역폭, 샘플링 레이트, 공간 스트림들, 공간 링크들, 이들의 임의의 조합, 및/또는 다른 파라미터들) 를 사용하여 RF 감지를 구현할 수도 있다.
일 예에서, 방 내의 책상 위에 설정되는 디바이스는, 디바이스에 대한 임계 근접도 내의 사용자 존재를 결정하기 위해 도 7 의 프로세스 (700) 에 관하여 논의된 기법들을 사용할 수도 있다. 그 다음, 사용자의 존재는 사용자를 식별하기 위해 RF 감지 기법들을 트리거할 수도 있다.
사용자 아이덴티티를 결정하기 위한 RF 감지는, 동시 송신 및 수신 기능들을 수행하도록 디바이스 상의 RF 인터페이스를 구성함으로써 구현될 수 있다. 예를 들어, 디바이스 상의 RF 인터페이스는 하나 이상의 RF 신호들을 송신하고 송신된 RF 신호에 대응하는 하나 이상의 반사된 신호들을 동시에 수신하도록 구성될 수 있다.
상기에서 설명된 것과 유사하게, 디바이스는, 송신된 RF 신호의 대역폭, 공간 스트림들의 수, 공간 링크들의 수, 샘플링 레이트, 또는 이들의 임의의 조합과 같은 파라미터들에 기초하여 RF 감지 분해능의 다양한 레벨들을 갖는 RF 감지 알고리즘들을 구현하도록 구성될 수 있다. 예를 들어, 디바이스는, 대역폭, 샘플링 레이트, 및/또는 공간 링크들에 관한 하나 이상의 파라미터들을 조정함으로써 디바이스가 잠금 또는 슬립 상태에 있을 때 사용자의 머리 배향을 검출할 수 있는 알고리즘을 구현할 수도 있다. 일부 경우들에서, 디바이스는 고 분해능 RF 감지 알고리즘 (예컨대, 중간 분해능 RF 감지 알고리즘에 비해 높은 대역폭, 높은 수의 공간 링크들, 및 높은 샘플링 레이트를 가짐) 을 구현할 수 있다. 고 분해능 RF 감지 알고리즘은, 더 높은 대역폭, 더 높은 수의 공간 링크들, 더 높은 샘플링 레이트, 또는 이들의 임의의 조합을 가짐으로써 중간 분해능 RF 감지 알고리즘과는 상이할 수 있다. 예를 들어, 사용자 존재를 검출하기 위해 도 7 의 프로세스 (700) 에서 사용된 파라미터들에 비해, 디바이스는 대역폭을 증가시키고, (더 많은 샘플들을 수집하기 위해) 샘플링 레이트를 증가시키고, 및/또는 머리 배향을 검출하기 위해 공간 링크들의 수를 증가시킬 수 있다. 하나의 예시적인 예에서, 디바이스는 3개 이상의 공간 링크들을 활용하고, 80 - 160 MHz 의 대역폭을 갖는 신호를 송신하도록 RF 인터페이스를 구성함으로써, 그리고 50 ms 미만인 샘플링 레이트를 활용함으로써, 사용자 아이덴티티를 결정할 수 있다. 전술한 프로세스들에 관하여 논의된 바와 같이, 당업자는 본 명세서에서 기술된 파라미터들 및 대응하는 값들이 예시적인 구성들로서 제공되고 그리고 개시된 시스템들 및 기법들이 파라미터들 및 값들의 상이한 변동들을 사용하여 구현될 수도 있음을 이해할 것이다.
동작 806 에서, 디바이스는 RF 감지 데이터에 기초하여 사용자가 식별되었는지 여부를 결정할 수 있다. 디바이스는 신호 프로세싱, 머신 러닝 알고리즘들을 활용함으로써, 임의의 다른 적합한 기법을 사용함으로써, 또는 이들의 임의의 조합에 의해, 사용자 식별을 결정할 수도 있다. 일부 양태들에서, 사용자 식별은 사용자 신체 치수들, 사용자 신체 형상, 사용자 신체 부위들 (예컨대, 손들, 팔들, 다리들, 머리 등), 및/또는 이들의 임의의 조합에 기초할 수 있다. 일부 예들에서, RF 감지는 사용자 특성들 (예컨대, 신체 부위 치수들) 을 검출하고, 사용자들을 구별하기 위해 그 데이터를 사용할 수 있다. 일부 양태들에서, 인증된 사용자들은, 치수들을 교정하여 장래의 인증을 위해 디바이스 상에 저장하기 위해 트레이닝 모드를 활용할 수 있다 (예컨대, 새롭게 검출된 치수는 사용자 아이덴티티를 결정하기 위해 인증된 사용자들의 미리 저장된 치수들과 비교될 수 있음). 일부 예들에서, 사용자의 교정 데이터는 모션 추적 및/또는 손 제스처 인식을 수행하는데 사용될 수 있다.
디바이스가 사용자 아이덴티티를 결정할 수 없으면, 프로세스 (800) 는, 디바이스가 잠금 상태로 유지되고, 도 8 의 프로세스 (800) 를 사용하여 사용자 아이덴티티를 검출하기 위해, 도 7 의 프로세스 (700) 를 사용하여 사용자 존재를 검출하기 위해, 또는 도 6 의 프로세스 (600) 를 사용하여 모션을 검출하기 위해, RF 감지를 계속 수행하는 동작 808 로 진행할 수 있다. 그러한 경우들에서, 디바이스는 고 분해능 RF 감지 알고리즘을 사용하여 RF 감지를 계속 수행할 수 있다.
디바이스가 동작 806 에서 사용자 아이덴티티를 결정하면, 프로세스 (800) 는 동작 810 으로 진행하고, 사용자 아이덴티티에 기초하여 디바이스 설정(들)을 구성할 수 있다. 일부 예들에서, 디바이스 설정들을 구성하는 것은 스피치 인식 하드웨어 및/또는 소프트웨어를 인에이블하는 것을 포함할 수 있다. 일부 경우들에서, 디바이스 설정들을 구성하는 것은 사용자의 포지션을 향해 지향되는 고정된 빔포머 또는 널 빔포머와 같은 공간 사운드 필터를 구현하는 것을 포함할 수 있다. 일부 양태들에서, 디바이스 설정들을 구성하는 것은 음향 에코 소거 (AEC) 알고리즘들의 초기화를 포함할 수 있다.
일부 예들에서, 디바이스 설정들을 구성하는 것은 클라우드 프로세싱 파라미터들을 구성하는 것을 포함할 수 있다. 일부 경우들에서, 클라우드 프로세싱 파라미터들을 구성하는 것은 자동 스피치 인식을 위해 타겟팅된 언어 모델을 로딩하는 것을 포함할 수 있다. 일부 양태들에서, 클라우드 프로세싱 파라미터들을 구성하는 것은 노이즈-제거 가중치들에 기초하여 딥 뉴럴 네트워크 (deep neural network; DNN) 를 초기화하는 것을 포함할 수 있다. 일부 예들에서, 클라우드 프로세싱 파라미터들을 구성하는 것은 사용자 식별에 기초하여 클라우드 기반 어플리케이션들에 대한 보안 또는 액세스 파라미터들 (예컨대, 음악 스트리밍 어플리케이션에 대한 "프리미엄" 특징들에 대한 액세스) 을 확립하는 것을 포함할 수 있다.
도 9 는 RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스 (900) 의 일 예를 예시한 플로우 다이어그램이다. 프로세스 (900) 는, 전자 디바이스가 RF 감지에 관련된 동작들을 개시하는 및/또는 부팅하는 것을 포함할 수 있는 동작 902 에서 시작할 수도 있다. 도 6, 도 7, 및 도 8 로부터의 예들과 유사하게, 사용자는 디바이스를 책상 위에 설정했을 수도 있고 및/또는 디바이스는 특정 양의 비활성 시간 이후에 잠금 상태로 진입했을 수도 있다.
동작 904 에서, 디바이스는 디바이스의 근접도 내의 모션을 검출하기 위해 (예컨대, 디바이스와 동일한 방에서 걷고 있는 사용자를 검출하기 위해) 저 분해능 RF 감지 알고리즘을 수행할 수 있다. 일 예에서, 모션을 검출하기 위한 RF 감지는 (도 2 의 무선 디바이스 (200) 에 대해서와 같이, 상기에서 설명된 것과 유사한) 동시 송신 및 수신 기능들을 수행하도록 디바이스 상의 RF 인터페이스를 구성함으로써 구현될 수 있다. 예를 들어, 디바이스 상의 Wi-Fi 인터페이스는, 하나 이상의 RF 신호들을 송신하고 그리고 송신된 RF 신호에 대응하는 하나 이상의 반사된 신호들을 동시에 (또는 거의 동시에) 수신하도록 구성될 수 있다. 하나의 예시적인 예에서, 저 분해능 RF 감지 알고리즘은, 대략 20 MHz 의 대역폭을 갖는 신호를 송신하기 위해 단일 공간 링크를 활용하도록 RF 인터페이스를 구성함으로써 그리고 100 ms 내지 500 ms 의 범위에 있을 수 있는 샘플링 레이트를 활용함으로써 구현될 수 있다.
동작 906 에서, 디바이스는 RF 감지 데이터에 기초하여 모션이 검출되는지 여부를 결정할 수 있다. 모션이 검출되지 않으면, 프로세스 (900) 는 동작 904 로 리턴할 수 있으며, 여기서, 디바이스는 모션을 검출하기 위해 저 분해능 RF 감지를 계속 수행한다.
동작 906 에서 모션이 검출되면, 프로세스 (900) 는 동작 908 로 진행할 수 있고, 디바이스는 사용자의 존재를 검출하기 위해 중간 분해능 RF 감지 알고리즘을 수행할 수 있다. 일 예에서, 사용자 존재를 검출하는 것은 사용자의 머리의 존재를 검출하고 식별하는 것을 포함할 수 있다. 중간 분해능 RF 감지 알고리즘은, 더 높은 대역폭, 더 높은 수의 공간 링크들, 더 높은 샘플링 레이트, 또는 이들의 임의의 조합을 가짐으로써 저 분해능 RF 감지 알고리즘과는 상이할 수 있다. 하나의 예시적인 예에서, 디바이스는, 2개의 공간 링크들을 활용하고 대략 40 MHz 의 대역폭을 갖는 신호를 송신하도록 RF 인터페이스를 구성함으로써 그리고 대략 50 ms 일 수 있는 샘플링 레이트를 활용함으로써 사용자 존재를 검출할 수 있다.
동작 910 에서, 디바이스는 RF 감지 데이터에 기초하여 사용자 존재가 검출되는지 여부를 결정할 수 있다. 사용자 존재가 검출되지 않으면, 프로세스 (900) 는 동작 912 에서 중간 분해능 RF 감지 알고리즘을 계속 구현할 수 있다. 일부 예들에서, 중간 분해능 RF 감지 알고리즘은 동작 906 에서 모션을 검출하는데 사용될 수 있다. 모션이 검출되지 않으면, 프로세스 (900) 는 동작 904 로 리턴할 수 있고, 여기서, 디바이스는 잠금 상태로 유지되고, 모션을 검출하기 위해 저 분해능 RF 감지를 계속 수행한다.
동작 910 에서 사용자 존재가 검출되면, 프로세스 (900) 는 동작 914 로 진행할 수 있고, 디바이스는 사용자를 식별하기 위해 고 분해능 RF 감지 알고리즘을 수행할 수 있다. 고 분해능 RF 감지 알고리즘은, 더 높은 대역폭, 더 높은 수의 공간 링크들, 더 높은 샘플링 레이트, 또는 이들의 임의의 조합을 가짐으로써 중간 분해능 RF 감지 알고리즘과는 상이할 수 있다. 하나의 예시적인 예에서, 디바이스는 3개 이상의 공간 링크들을 활용하고, 80 - 160 MHz 의 대역폭을 갖는 신호를 송신하도록 RF 인터페이스를 구성함으로써, 그리고 50 ms 미만인 샘플링 레이트를 활용함으로써, 머리 배향을 검출할 수 있다.
동작 916 에서, 디바이스는 (예컨대, 신체 부위 치수를, 인증된 사용자들에 대응하는 미리 저장된 치수와 비교함으로써) RF 감지 데이터에 기초하여 사용자가 식별되었는지 여부를 결정할 수 있다. 사용자가 식별되지 않으면, 프로세스 (900) 는 동작 918 에서 고 분해능 RF 감지 알고리즘을 계속 구현할 수 있다. 일부 예들에서, 고 분해능 RF 감지 알고리즘은 동작 906 에서 모션을 검출하는데 사용될 수 있다. 모션이 검출되지 않으면, 프로세스 (900) 는 동작 904 로 리턴할 수 있고, 여기서, 디바이스는 잠금 상태로 유지되고, 모션을 검출하기 위해 저 분해능 RF 감지를 계속 수행한다. 동작 916 에서 사용자가 식별되면, 프로세스 (900) 는 동작 920 으로 진행하고, 사용자 식별에 기초하여 디바이스 설정들을 구성할 수 있다. 디바이스 설정들은, 본 명세서에 설명된 바와 같이, 음향 디바이스 설정들, 클라우드 프로세싱 파라미터들, 환경 설정들 등을 포함할 수 있다.
도 10 은 RF 감지에 기초하여 음향 설정들을 구성하기 위한 프로세스 (1000) 의 일 예를 예시한 플로우 다이어그램이다. 동작 1002 에서, 프로세스 (1000) 는 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하는 것을 포함한다. 일부 예들에서, 무선 디바이스는, 제 1 송신 파형을 송신하고/하거나 제 1 복수의 수신 파형들을 수신하도록 구성될 수 있는 적어도 하나의 트랜시버를 포함할 수 있다. 예를 들어, IoT 디바이스 (107) 는 RF 신호 (예컨대, 제 1 송신 파형) 를 송신하고 송신된 RF 신호의 반사물들 (예컨대, 제 1 복수의 수신 파형들) 을 수신하도록 무선 트랜시버들 (178) (예컨대, WiFi, BluetoothTM, 5G/NR 등) 을 구성함으로써 RF 감지 데이터를 획득할 수 있다. 일부 양태들에서, 제 1 송신 파형은, 송신 및 수신 기능들이 상이한 디바이스들에 의해 수행되는 바이스태틱 구성에서와 같이 제 2 무선 디바이스에 의해 송신될 수 있다 (예컨대, AP (304) 는 RF 신호를 송신할 수 있고, IoT 디바이스 (302) 는 반사물들을 수신할 수 있음). 일부 예들에서, RF 감지 데이터의 제 1 세트는 채널 상태 정보 (CSI) 데이터에 대응할 수 있다.
동작 1002 에서, 프로세스 (1000) 는 RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하는 것을 포함한다. 동작 1004 에서, 프로세스 (1000) 는 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하는 것을 포함한다. 일부 예들에서, 프로세스는, RF 감지 데이터의 제 1 세트에 기초하여 무선 디바이스와 제 1 리플렉터 사이의 거리 및 도달 각도를 결정하는 것을 포함할 수 있다. 예를 들어, IoT 디바이스 (302) 는, IoT 디바이스 (302) 와 텔레비전 (322) 사이의 거리 및 도달 각도를 결정하기 위해 RF 감지 데이터를 사용할 수 있다.
일부 양태들에서, 디바이스는, 제 1 리플렉터의 포지션을 결정하고 제 1 리플렉터의 포지션으로 지향된 공간 사운드 필터를 구성하기 위해 RF 감지 데이터를 사용할 수도 있으며, 여기서, 공간 사운드 필터는 적어도 하나의 음향 설정에 대응한다. 일부 경우들에서, 제 1 리플렉터의 분류는 인간에 대응할 수 있고, 공간 사운드 필터는 고정된 빔포머에 대응할 수 있다. 예를 들어, IoT 디바이스 (302) 는 사용자 (308) 의 포지션 (309c) 을 결정하기 위해 RF 감지 데이터를 사용할 수 있고, 포지션 (309c) 으로 지향되는 고정된 빔포머를 구성할 수 있다.
일부 예들에서, 제 1 리플렉터의 분류는 음향 간섭 오브젝트에 대응할 수 있고, 공간 사운드 필터는 널 빔포머에 대응할 수 있다. 예를 들어, IoT 디바이스 (302) 는 텔레비전 (322) 의 포지션을 결정하기 위해 RF 감지 데이터를 사용할 수 있고, 텔레비전 (322) 의 포지션을 향해 지향되는 널 빔포머를 구현함으로써 텔레비전 (322) 으로부터의 간섭 오디오를 감쇠시킬 수 있다.
일부 양태들에서, 디바이스는, 제 1 리플렉터로부터 제 1 오디오 신호를 수신하는데 사용될 수 있는 복수의 마이크로폰들을 포함할 수도 있다. 일부 예들에서, 디바이스는, 제 1 오디오 신호와 연관된 도달 방향을 결정하고, 제 1 오디오 신호와 연관된 도달 방향에 기초하여 공간 사운드 필터를 조정할 수도 있다. 예를 들어, IoT 디바이스 (302) 는 사용자 (308) 로부터 오디오 신호 (332) 를 수신하고, 오디오 신호 (332) 의 도달 방향을 결정할 수도 있다. 일부 경우들에서, IoT 디바이스 (302) 는 공간 사운드 필터를 조정하기 위해 오디오 신호 (332) 의 도달 방향을 사용할 수도 있다.
일부 예들에서, 프로세스는, RF 감지 데이터에 기초하여, 복수의 리플렉터들로부터 제 1 리플렉터에 대한 제 2 리플렉터의 근접도를 결정하는 것, 및 공간 사운드 필터의 구성에 기초하여, 제 1 리플렉터 또는 제 2 리플렉터 중 적어도 하나를 이동시키기 위한 명령을 제공하는 것을 포함할 수 있다. 예를 들어, IoT 디바이스 (302) 는 포지션 (309b) 에서 텔레비전 (322) 및 사용자 (308) 의 근접도를 결정할 수 있다. 일부 경우들에서, IoT 디바이스는 사용자 (308) 에게 포지션 (309c) 으로 이동하도록 명령할 수 있다.
일부 양태들에서, 디바이스는 오디오 검출 디바이스를 포함할 수도 있고, 여기서, 적어도 하나의 음향 설정을 결정하기 위해, 프로세스는 제 1 리플렉터의 분류가 사운드를 생성할 수 있는 오브젝트에 대응함을 결정하는 것에 응답하여 오디오 검출 디바이스를 유휴 모드로부터 인에이블하는 것으로서, 오디오 검출 디바이스는 스피치 입력을 수신하도록 구성되는, 상기 오디오 검출 디바이스를 인에이블하는 것, 및 사운드를 생성할 수 있는 오브젝트가 검출되는 것에 기초하여 오디오 검출 디바이스가 스피치 입력을 수신할 준비가 되었다는 표시를 제공하는 것을 포함할 수 있다. 일부 예들에서, 사운드를 생성할 수 있는 오브젝트는 인간, 로봇, 전자 디바이스, 또는 사운드를 생성할 수 있는 일부 다른 오브젝트에 대응할 수 있다. 예를 들어, IoT 디바이스 (404) 는, 스피치 입력을 수신하도록 구성될 수 있는 오디오 검출 디바이스 (예컨대, 어플리케이션 프로세서, 저전력 집적 회로) 를 포함할 수 있다. 일부 경우들에서, 스피치 입력은, 추가의 스피치 인식을 인에이블하는데 사용될 수 있는 키워드 또는 커맨드에 대응할 수 있다. 일부 예에서, 스피치 입력은 사용자 (406) 로부터의 임의의 오디오 신호들에 대응할 수 있다. 일부 예들에서, RF 감지 디바이스 (402) 는, 리플렉터가 인간 (예컨대, 사용자 (406)) 과 같이 사운드를 생성할 수 있는 오브젝트에 대응함을 결정하기 위해 RF 감지를 사용할 수 있고, IoT (416) 에서 오디오 검출 디바이스를 인에이블할 수 있다. 일부 경우들에서, IoT (404) 는, IoT (404) 가 스피치 입력을 수신할 준비가 되었다는 표시를 제공할 수 있다 (예컨대, 경고 또는 사운드를 재생, 진동, LED 를 턴온하는 등).
일부 예들에서, 프로세스는, 제 1 리플렉터의 분류가 인간에 대응함을 결정하는 것에 응답하여, 복수의 리플렉터들로부터 반사된 제 2 송신 파형에 대응하는 제 2 복수의 수신 파형들과 연관된 RF 감지 데이터의 제 2 세트를 획득하는 것을 포함할 수 있으며, 여기서, 제 2 송신 파형은 제 1 송신 파형보다 더 높은 대역폭을 갖는다. 일부 양태들에서, RF 감지 데이터의 제 2 세트는 인간과 연관된 아이덴티티를 결정하는데 사용될 수 있다. 예를 들어, IoT (107) 와 같은 디바이스는, 사용자 존재 및/또는 사용자 아이덴티티를 결정하기 위해 중간 분해능 RF 감지 알고리즘 (예컨대, 동작 908) 또는 고 분해능 RF 감지 알고리즘 (예컨대, 동작 914) 을 구현할 수 있다. 일부 예들에서, 적어도 하나의 디바이스 음향 설정은 인간에 대응하는 아이덴티티와 연관되고, 디바이스 음향 파라미터, 로컬 어플리케이션 파라미터, 원격 어플리케이션 파라미터, 환경 파라미터, 또는 이들의 임의의 조합 중 적어도 하나를 포함한다.
일부 경우들에서, RF 감지 데이터의 제 2 세트는 인간의 움직임을 결정하는데 사용될 수 있다. 일부 예들에서, 프로세스는, 인간이 오디오 디바이스의 임계 거리 내에 있음을 결정하는 것 및 오디오 디바이스를 인에이블하기 위한 신호를 전송하는 것을 포함할 수 있다. 예를 들어, RF 감지 디바이스 (402) 는, 사용자 (406) 가 이동하고 있고 IoT 디바이스 (404) 의 임계 거리 내에 있음을 결정할 수 있다. 일부 예들에서, RF 감지 디바이스 (402) 는 IoT 디바이스 (404) 를 인에이블하기 위한 신호를 (예컨대, 링크 (416) 를 통해) 전송할 수 있다.
일부 예들에서, 본 명세서에서 설명된 프로세스들 (예컨대, 프로세스들 (500, 600, 700, 800, 900, 1000) 및/또는 본 명세서에서 설명된 다른 프로세스) 은 컴퓨팅 디바이스 또는 장치 (예컨대, UE) 에 의해 수행될 수도 있다. 일 예에서, 프로세스 (900) 는 도 1 의 IoT 디바이스 (107) 에 의해 수행될 수 있다. 다른 예에서, 프로세스 (900) 는 도 11 에 도시된 컴퓨팅 시스템 (1100) 을 갖는 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 도 11 에 도시된 컴퓨팅 아키텍처를 갖는 컴퓨팅 디바이스는 도 1 의 IoT 디바이스(107) 의 컴포넌트들을 포함할 수 있고 도 10 의 동작들을 구현할 수 있다.
일부 경우들에서, 컴퓨팅 디바이스 또는 장치는 본 명세서에 설명된 프로세스들의 단계들을 수행하도록 구성되는, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 하나 이상의 카메라들, 하나 이상의 센서들, 및/또는 다른 컴포넌트(들)와 같은 다양한 컴포넌트들을 포함할 수도 있다. 일부 예들에 있어서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 하나 이상의 네트워크 인터페이스들, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 포함할 수도 있다. 하나 이상의 네트워크 인터페이스들은 3G, 4G, 5G, 및/또는 다른 셀룰러 표준에 따른 데이터, WiFi (802.11x) 표준들에 따른 데이터, BluetoothTM 표준에 따른 데이터, 인터넷 프로토콜 (IP) 표준에 따른 데이터, 및/또는 다른 타입들의 데이터를 포함하는, 유선 및/또는 무선 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 본 명세서에서 설명된 다양한 동작들을 수행하기 위해, 하나 이상의 프로그래밍가능 전자 회로들 (예컨대, 마이크로프로세서들, 그래픽스 프로세싱 유닛들 (GPU들), 디지털 신호 프로세서들 (DSP들), 중앙 프로세싱 유닛들 (CPU들), 및/또는 다른 적합한 전자 회로들) 을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있고, 및/또는 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있다.
프로세스 (900) 는 논리 플로우 다이어그램들로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합에서 구현될 수 있는 동작들의 시퀀스를 나타낸다. 컴퓨터 명령들의 컨텍스트에서, 그 동작들은, 하나 이상의 프로세서들에 의해 실행될 경우, 기재된 동작들을 수행하는 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 나타낸다. 일반적으로, 컴퓨터 실행가능 명령들은, 특정 기능들을 수행하거나 또는 특정 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되도록 의도되지 않으며, 임의의 수의 설명된 동작들은 프로세스들을 구현하기 위해 임의의 순서로 및/또는 병렬로 결합될 수 있다.
부가적으로, 프로세스 (900) 및/또는 본 명세서에서 설명된 다른 프로세스는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에 수행될 수도 있으며, 하나 이상의 프로세서들 상에서 집합적으로 실행하는 코드 (예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 어플리케이션들) 로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수도 있다. 상기 언급된 바와 같이, 코드는 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에, 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로 저장될 수도 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수도 있다.
도 11 은 본 기술의 특정 양태들을 구현하기 위한 시스템의 일 예를 예시한 다이어그램이다. 특히, 도 11 는, 예를 들어, 내부 컴퓨팅 시스템을 구성하는 임의의 컴퓨팅 디바이스, 원격 컴퓨팅 시스템, 카메라, 또는 시스템의 컴포넌트들이 커넥션 (1105) 을 사용하여 서로 통신하는 이들의 임의의 컴포넌트일 수 있는 컴퓨팅 시스템 (1100) 의 일 예를 예시한다. 커넥션 (1105) 은 버스를 사용하는 물리적 커넥션, 또는 칩셋 아키텍처에서와 같이 프로세서 (1110) 로의 직접 커넥션일 수 있다. 커넥션 (1105) 은 또한, 가상 커넥션, 네트워킹된 커넥션, 또는 논리적 커넥션일 수 있다.
일부 실시형태들에서, 컴퓨팅 시스템 (1100) 은, 본 개시에서 설명된 기능들이 데이터 센터, 다중의 데이터 센터들, 피어 네트워크 등 내에 분산될 수 있는 분산 시스템이다. 일부 실시형태들에서, 설명된 시스템 컴포넌트들 중 하나 이상은, 컴포넌트가 설명되는 기능의 일부 또는 전부를 각각 수행하는 다수의 그러한 컴포넌트들을 나타낸다. 일부 실시형태들에서, 컴포넌트들은 물리적 또는 가상 디바이스들일 수 있다.
예시적인 시스템 (1100) 은 적어도 하나의 프로세싱 유닛 (CPU 또는 프로세서) (1110), 및 판독 전용 메모리 (ROM) (1120) 및 랜덤 액세스 메모리 (RAM) (1125) 와 같은 시스템 메모리 (1115) 를 포함하는 다양한 시스템 컴포넌트들을 프로세서 (1110) 에 통신가능하게 커플링시키는 커넥션 (1105) 을 포함한다. 컴퓨팅 시스템 (1100) 은, 프로세서 (1110) 와 직접 연결되거나 그에 매우 근접하거나 또는 그의 부분으로서 통합된 고속 메모리의 캐시 (1112) 를 포함할 수 있다.
프로세서 (1110) 는 프로세서 (1110) 를 제어하도록 구성된 저장 디바이스 (1130) 에 저장된 서비스들 (1132, 1134 및 1136) 과 같은 임의의 범용 프로세서 및 하드웨어 서비스 또는 소프트웨어 서비스 뿐만 아니라 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서 (1110) 는 본질적으로, 다중의 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 자립형 컴퓨팅 시스템일 수도 있다. 멀티-코어 프로세서는 대칭이거나 비대칭일 수도 있다.
사용자 상호작용을 가능케 하기 위해, 컴퓨팅 시스템 (1100) 은 스피치를 위한 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치 감응형 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 수의 입력 메커니즘들을 나타낼 수 있는 입력 디바이스 (1145) 를 포함한다. 컴퓨팅 시스템 (1100) 은 또한, 다수의 출력 메커니즘들 중 하나 이상일 수 있는 출력 디바이스 (1135) 를 포함할 수 있다. 일부 사례들에서, 멀티모달 시스템들이 사용자로 하여금 컴퓨팅 시스템 (1100) 과 통신하기 위해 다중의 타입들의 입력/출력을 제공할 수 있게 할 수 있다.
컴퓨팅 시스템 (1100) 은, 사용자 입력 및 시스템 출력을 일반적으로 통제하고 관리할 수 있는 통신 인터페이스 (1140) 를 포함할 수 있다. 통신 인터페이스는, 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스 (USB) 포트/플러그, AppleTM LightningTM 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 독점적 유선 포트/플러그, 3G, 4G, 5G 및/또는 다른 셀룰러 데이터 네트워크 무선 신호 전송, BluetoothTM 무선 신호 전송, BluetoothTM 저에너지 (BLE) 무선 신호 전송, IBEACONTM 무선 신호 전송, 무선 주파수 식별 (RFID) 무선 신호 전송, 근접장 통신 (NFC) 무선 신호 전송, 전용 단거리 통신 (DSRC) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, 무선 로컬 영역 네트워크 (WLAN) 신호 전송, 가시광 통신 (VLC), WiMAX (Worldwide Interoperability for Microwave Access), 적외선 (IR) 통신 무선 신호 전송, 공중 교환 전화 네트워크 (PSTN) 신호 전송, 통합 서비스 디지털 네트워크 (ISDN) 신호 전송, 애드혹 네트워크 신호 전송, 라디오파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외선 광 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송, 또는 이들의 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 트랜시버들을 사용하여 유선 또는 무선 통신들의 수신 및/또는 송신을 수행하거나 용이하게 할 수도 있다.
통신 인터페이스 (1140) 는 또한, 데이터를 수집하고 측정치들을 프로세서 (1110) 에 제공하도록 구성된 하나 이상의 레인지 센서들 (예컨대, 광 검출 및 레인징 (LIDAR) 센서들, 레이저 레인지 파인더들, 레이더들, 초음파 센서들, 및 적외선 (IR) 센서들) 을 포함할 수도 있으며, 이에 의해, 프로세서 (1110) 는 하나 이상의 레인지 센서들에 대한 다양한 측정치들을 획득하는데 필요한 결정들 및 계산들을 수행하도록 구성될 수 있다. 일부 예들에서, 측정치들은 비행 시간, 파장들, 방위각, 고도각, 범위, 선형 속도 및/또는 각속도, 또는 이들의 임의의 조합을 포함할 수 있다. 통신 인터페이스 (1140) 는 또한, 하나 이상의 글로벌 내비게이션 위성 시스템 (GNSS) 시스템들과 연관된 하나 이상의 위성들로부터의 하나 이상의 신호들의 수신에 기초하여 컴퓨팅 시스템 (1100) 의 위치를 결정하는데 사용되는 하나 이상의 GNSS 수신기들 또는 트랜시버들을 포함할 수도 있다. GNSS 시스템들은 미국 기반 글로벌 포지셔닝 시스템 (GPS), 러시아 기반 글로벌 내비게이션 위성 시스템 (GLONASS), 중국 기반 베이더우 내비게이션 위성 시스템 (BDS) 및 유럽 기반 Galileo GNSS 를 포함하지만 이에 한정되지 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 제한이 없으며, 따라서, 여기에서의 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들로 쉽게 대체될 수도 있다.
저장 디바이스 (1130) 는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독가능 메모리 디바이스일 수 있고, 다음과 같은 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들일 수 있다: 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드-스테이트 메모리, 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 광 디스크, 재기록가능 컴팩트 디스크 (CD) 광 디스크, 디지털 비디오 디스크 (DVD) 광 디스크, 블루-레이 디스크 (BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털 (SD) 카드, 마이크로 보안 디지털 (microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 아이덴티티 모듈 (SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로 (IC) 칩/카드, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 EPROM (FLASHEPROM), 캐시 메모리 (예컨대, 레벨 1 (L1) 캐시, 레벨 2 (L2) 캐시, 레벨 3 (L3) 캐시, 레벨 4 (L4) 캐시, 레벨 5 (L5) 캐시, 또는 다른 (L#) 캐시), 저항성 랜덤 액세스 메모리 (RRAM/ReRAM), 상 변화 메모리 (PCM), 스핀 전달 토크 RAM (STT-RAM), 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합.
저장 디바이스 (1130) 는, 그러한 소프트웨어를 정의하는 코드가 프로세서 (1110) 에 의해 실행될 경우 시스템으로 하여금 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시형태들에서, 특정 기능을 수행하는 하드웨어 서비스는, 기능을 수행하기 위해 프로세서 (1110), 커넥션 (1105), 출력 디바이스 (1135) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다. 용어 "컴퓨터 판독가능 매체" 는 휴대용 또는 비-휴대용 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 수록 가능한 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독가능 매체는, 데이터가 저장될 수 있고 그리고 무선으로 또는 유선 커넥션들 상으로 전파하는 일시적 전자 신호들 및/또는 캐리어파들을 포함하지 않는 비일시적 매체를 포함할 수도 있다. 비일시적 매체의 예들은 자기 디스크 또는 테이프, 컴팩트 디스크 (CD) 또는 디지털 다기능 디스크 (DVD) 와 같은 광학 저장 매체들, 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수도 있지만 이에 한정되지 않는다. 컴퓨터 판독가능 매체는, 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있는 코드 및/또는 머신 실행가능 명령들이 저장될 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들 (arguments), 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적합한 수단을 통해 전달, 포워딩, 또는 전송될 수도 있다.
특정 상세들이 본 명세서에서 제공된 실시형태들 및 실시예들의 철저한 이해를 제공하기 위해 상기의 설명에서 제공되지만, 당업자는 본 출원이 이에 한정되지 않음을 인식할 것이다. 따라서, 본 출원의 예시적인 실시형태들이 본 명세서에서 상세히 설명되었지만, 발명적 개념들은 달리 다양하게 구현되고 채용될 수도 있으며, 첨부된 청구항들은 종래 기술에 의해 한정되는 것을 제외하고는 그러한 변동들을 포함하는 것으로 해석되도록 의도됨이 이해되어야 한다. 상기 설명된 어플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수도 있다. 추가로, 실시형태들은 본 명세서의 더 넓은 사상 및 범위로부터 일탈함없이 본 명세서에서 설명된 것들을 넘어서는 임의의 수의 환경들 및 어플리케이션들에서 활용될 수 있다. 본 명세서 및 도면들은, 이에 따라, 제한적이라기 보다는 예시적인 것으로서 간주되어야 한다. 예시의 목적으로, 방법들은 특정 순서로 설명되었다. 대안적인 실시형태들에 있어서, 방법들은 설명된 것과는 상이한 순서로 수행될 수도 있음이 인식되어야 한다.
설명의 명료화를 위해, 일부 사례들에 있어서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어에서 구현된 방법에서의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 개별 기능 블록들을 포함하는 것으로서 제시될 수도 있다. 도면들에서 도시되고/되거나 본 명세서에서 설명된 것들 이외의 추가적인 컴포넌트들이 사용될 수도 있다. 예를 들어, 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은, 실시형태들을 불필요한 상세로 불명료하게 하지 않기 위하여 블록 다이어그램 형태의 컴포넌트들로서 도시될 수도 있다. 다른 사례들에 있어서, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시형태들을 불명료하게 하는 것을 회피하기 위하여 불필요한 상세없이 도시될 수도 있다.
추가로, 당업자는 본 명세서에 개시된 양태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있음을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능성의 관점에서 상기에서 설명되었다. 그러한 기능성이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능성을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
개별 실시형태들은, 플로우차트, 플로우 다이어그램, 데이터 플로우 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시되는 프로세스 또는 방법으로서 상기 설명될 수도 있다. 비록 플로우차트가 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는, 그의 동작들이 완료될 때 종료되지만, 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그의 종료는 그 함수의 호출 함수로의 또는 메인 함수로의 반환에 대응할 수 있다.
상기 설명된 예들에 따른 프로세스들 및 방법들은, 컴퓨터 판독가능 매체들에 저장되거나 그렇지 않으면 컴퓨터 판독가능 매체들로부터 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 그러한 명령들은, 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스가 특정 기능 또는 기능들의 그룹을 수행하게 하거나 그렇지 않으면 수행하도록 구성하는 명령들 및 데이터를 포함할 수 있다. 사용된 컴퓨터 리소스들의 부분들은 네트워크 상으로 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드와 같은 바이너리들, 중간 포맷 명령들일 수도 있다. 설명된 예들에 따른 방법들 동안 명령들, 사용된 정보, 및/또는 생성된 정보를 저장하기 위해 사용될 수도 있는 컴퓨터 판독가능 매체들의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스들 등을 포함한다.
일부 실시형태들에 있어서, 컴퓨터 판독가능 저장 디바이스들, 매체들, 및 메모리들은 비트스트림 등을 포함하는 무선 신호 또는 케이블을 포함할 수 있다. 하지만, 언급될 때, 비일시적 컴퓨터 판독가능 저장 매체들은 에너지, 캐리어 신호들, 전자기 파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
당업자는 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 정보 및 신호들이 표현될 수도 있음을 인식할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드(command)들, 정보, 신호들, 비트들, 심볼들, 및 칩들은, 일부 경우들에서, 특정 어플리케이션에 부분적으로 의존하여, 원하는 설계에 부분적으로 의존하여, 대응하는 기술 등에 부분적으로 의존하여, 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
본 명세서에서 개시된 양태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합을 사용하여 구현되거나 수행될 수도 있고, 다양한 폼 팩터들 중 임의의 것을 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에서 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들 (예컨대, 컴퓨터 프로그램 제품) 은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수도 있다. 프로세서(들)는 필요한 태스크들을 수행할 수도 있다. 폼 팩터들의 예들은 랩탑들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 디지털 보조기들, 랙마운트 디바이스들, 자립형 디바이스들 등을 포함한다. 본 명세서에서 설명된 기능성은 또한, 주변기기들 또는 애드-인 (add-in) 카드들에서 구현될 수 있다. 그러한 기능성은 또한, 추가의 예에 의해, 단일 디바이스에서 실행되는 상이한 칩들 또는 상이한 프로세스들 중에서 회로 보드 상에서 구현될 수 있다.
명령들, 그러한 명령들을 운반하기 위한 매체들, 그것들을 실행하기 위한 컴퓨팅 리소스들, 및 그러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시에서 설명된 기능들을 제공하기 위한 예시적인 수단들이다.
본 명세서에서 설명된 기법들은 또한, 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 그러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 어플리케이션을 포함하여 다중의 이용들을 갖는 집적 회로 디바이스들과 같은 임의의 다양한 디바이스들에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이는 패키징 재료들을 포함할 수도 있다. 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 그 기법들은, 부가적으로 또는 대안적으로, 전파된 신호들 또는 파동들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 수록하거나 통신하고 그리고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로 프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 균등한 집적된 또는 별개의 로직 회로부와 같은 하나 이상의 프로세서들을 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에서 설명된 기법들 중 임의의 기법을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예컨대, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수도 있다.
당업자는 본 명세서에 사용된 미만 ("<") 및 초과 (">") 심볼들 또는 용어가 본 설명의 범위로부터 일탈함없이 각각 이하 ("≤") 및 이상 ("≥") 심볼들로 교체될 수 있음을 인식할 것이다.
컴포넌트들이 특정 동작들을 수행하도록 "구성된" 것으로서 설명되는 경우, 그러한 구성은 예를 들어, 전자 회로들 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍가능 전자 회로들 (예컨대, 마이크로프로세서들 또는 다른 적합한 전자 회로들) 을 프로그래밍하여 그 동작을 수행하는 것에 의해, 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
본 명세서에서 사용된 바와 같이, "커플링된" 은 "통신가능하게 커플링된", "전기적으로 커플링된", 또는 "물리적으로 커플링된" 을 포함할 수도 있으며, 또한 (또는 대안적으로) 이들의 임의의 조합들을 포함할 수도 있다. 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 다른 디바이스들, 컴포넌트들, 와이어들, 버스들, 네트워크들 (예컨대, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 등을 통해 직접적으로 또는 간접적으로 커플링 (예컨대, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 될 수도 있다. 전기적으로 커플링되는 2개의 디바이스들 (또는 컴포넌트들) 은 동일한 디바이스에 또는 상이한 디바이스들에 포함될 수도 있으며, 예시적 비한정적인 예들로서, 전자기기들, 하나 이상의 커넥터들, 또는 유도성 커플링을 통해 연결될 수도 있다. 일부 구현들에 있어서, 전기 통신에서와 같이 통신가능하게 커플링되는 2개의 디바이스들 (또는 컴포넌트들) 은 예컨대 하나 이상의 와이어들, 버스들, 네트워크들 등을 통해 간접적으로 또는 직접적으로 전기 신호들 (디지털 신호들 또는 아날로그 신호들) 을 전송 및 수신할 수도 있다. 본 명세서에서 사용된 바와 같이, "직접적으로 커플링된" 은 컴포넌트들을 개재하지 않고 커플링 (예컨대, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 되는 2개의 디바이스들을 포함할 수도 있다.
본 명세서에서 사용된 바와 같이, "통합된" 은 "제조된 또는 판매된" 을 포함할 수도 있다. 디바이스는, 사용자가 패키지의 부분으로서 디바이스를 번들링하거나 포함하는 패키지를 구매할 경우 통합될 수도 있다. 일부 설명들에 있어서, 2개의 디바이스들은 커플링될 수도 있지만, 반드시 통합될 필요는 없을 수도 있다 (예컨대, 상이한 주변 디바이스들은 디바이스에 통합되지 않을 수도 있지만, 여전히 "커플링"될 수도 있음). 다른 예는, 프로세서에 "커플링"되지만 반드시 디바이스를 포함하는 패키지의 부분은 아닐 수도 있는 본 명세서에서 설명된 트랜시버들 또는 안테나들의 임의의 것일 수도 있다. 다른 예들은, 용어 "통합된" 을 사용할 경우, 이 문단을 포함하여 본 명세서에서 개시된 문맥으로부터 추론될 수도 있다.
본 명세서에서 사용되는 바와 같이, "제공하는 것" 은 "전송하는 것" 을 포함할 수도 있으며, 예컨대, 하나 이상의 프로세서들은 출력 신호 또는 신호들을 다른 컴포넌트에 제공할 수도 있고, 하나 이상의 프로세서들이 출력 신호 또는 신호들을 다른 컴포넌트에 전송할 수도 있다는 것을 등가적으로 의미할 수도 있다.
세트 "중 적어도 하나" 또는 세트 "중 하나 이상" 을 인용하는 청구항 언어 또는 다른 언어는 그 세트의 하나의 멤버 또는 그 세트의 다중의 멤버들 (임의의 조합) 이 청구항을 충족하는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미한다. 다른 예에 있어서, "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C 를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상" 은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미할 수 있으며, A 및 B 의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 개시의 예시적인 양태들은 다음을 포함한다:
양태 1: 무선 디바이스는 적어도 하나의 메모리; 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하고; RF 감지 데이터의 제 1 세트에 기초하여 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하고; 그리고 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하도록 구성된다.
양태 2: 양태 1 에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, RF 감지 데이터의 제 1 세트에 기초하여 제 1 리플렉터의 포지션을 결정하고; 그리고 제 1 리플렉터의 포지션으로 지향된 공간 사운드 필터를 구성하도록 구성되고, 여기서, 공간 사운드 필터는 적어도 하나의 음향 설정에 대응한다.
양태 3: 양태 1 내지 양태 2 중 어느 하나에 따른 무선 디바이스에 있어서, 제 1 리플렉터의 분류는 인간에 대응하고, 공간 사운드 필터는 고정된 빔포머에 대응한다.
양태 4: 양태 1 내지 양태 2 중 어느 하나에 따른 무선 디바이스에 있어서, 제 1 리플렉터의 분류는 음향 간섭 오브젝트에 대응하고, 공간 사운드 필터는 널 빔포머에 대응한다.
양태 5: 양태 1 내지 양태 4 중 어느 하나에 따른 무선 디바이스는, 적어도 하나의 프로세서에 커플링된 복수의 마이크로폰들을 더 포함하고, 적어도 하나의 프로세서는 추가로, 복수의 마이크로폰들을 통해, 제 1 리플렉터로부터 제 1 오디오 신호를 수신하고; 제 1 오디오 신호와 연관된 도달 방향을 결정하고; 그리고 제 1 오디오 신호와 연관된 도달 방향에 기초하여 공간 사운드 필터를 조정하도록 구성된다.
양태 6: 양태 1 내지 양태 5 중 어느 하나에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, RF 감지 데이터의 제 1 세트에 기초하여, 복수의 리플렉터들로부터 제 1 리플렉터에 대한 제 2 리플렉터의 근접도를 결정하고; 그리고 공간 사운드 필터의 구성에 기초하여, 제 1 리플렉터 또는 제 2 리플렉터 중 적어도 하나를 이동시키기 위한 명령을 제공하도록 구성된다.
양태 7: 양태 1 내지 양태 6 중 어느 하나에 따른 무선 디바이스는, 적어도 하나의 프로세서에 커플링된 오디오 검출 디바이스를 더 포함하고, 적어도 하나의 음향 설정을 결정하기 위해, 적어도 하나의 프로세서는 추가로, 제 1 리플렉터의 분류가 사운드를 생성할 수 있는 오브젝트에 대응함을 결정하는 것에 응답하여 오디오 검출 디바이스를 유휴 모드로부터 인에이블하는 것으로서, 오디오 검출 디바이스는 스피치 입력을 수신하도록 구성되는, 상기 오디오 검출 디바이스를 인에이블하고; 그리고 사운드를 생성할 수 있는 오브젝트가 검출되는 것에 기초하여 오디오 검출 디바이스가 스피치 입력을 수신할 준비가 되었다는 표시를 제공하도록 구성된다.
양태 8: 양태 1 내지 양태 7 중 어느 하나에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, 제 1 리플렉터의 분류가 인간에 대응함을 결정하는 것에 응답하여, 복수의 리플렉터들로부터 반사된 제 2 송신 파형에 대응하는 제 2 복수의 수신 파형들과 연관된 RF 감지 데이터의 제 2 세트를 획득하도록 구성되고, 여기서, 제 2 송신 파형은 제 1 송신 파형보다 더 높은 대역폭을 갖는다.
양태 9: 양태 8 에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, RF 감지 데이터의 제 2 세트에 적어도 기초하여, 인간과 연관된 아이덴티티를 결정하도록 구성된다.
양태 10: 양태 9 에 따른 무선 디바이스에 있어서, 적어도 하나의 음향 설정은 아이덴티티와 연관되고, 디바이스 음향 파라미터, 로컬 어플리케이션 파라미터, 원격 어플리케이션 파라미터, 환경 파라미터, 또는 이들의 임의의 조합 중 적어도 하나를 포함한다.
양태 11: 양태 8 내지 양태 10 중 어느 하나에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, RF 감지 데이터의 제 2 세트에 적어도 기초하여, 인간의 움직임을 결정하도록 구성된다.
양태 12: 양태 8 내지 양태 11 중 어느 하나에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, 인간이 오디오 디바이스의 임계 거리 내에 있음을 결정하고; 그리고 오디오 디바이스를 인에이블하기 위한 신호를 전송하도록 구성된다.
양태 13: 양태 1 내지 양태 12 중 어느 하나에 따른 무선 디바이스에 있어서, 제 1 송신 파형은 제 2 무선 디바이스에 의해 송신된다.
양태 14: 양태 1 내지 양태 13 중 어느 하나에 따른 무선 디바이스에 있어서, RF 감지 데이터의 제 1 세트는 채널 상태 정보 (CSI) 데이터를 포함한다.
양태 15: 양태 1 내지 양태 14 중 어느 하나에 따른 무선 디바이스는, 적어도 하나의 프로세서에 커플링된 적어도 하나의 트랜시버를 더 포함하고, 적어도 하나의 프로세서는 추가로, 적어도 하나의 트랜시버를 통해, 제 1 송신 파형을 송신하고; 그리고 적어도 하나의 트랜시버를 통해, 제 1 복수의 수신 파형들을 수신하도록 구성된다.
양태 16: 양태 1 내지 양태 15 중 어느 하나에 따른 무선 디바이스에 있어서, 적어도 하나의 프로세서는 추가로, RF 감지 데이터의 제 1 세트에 기초하여 무선 디바이스와 제 1 리플렉터 사이의 거리 및 도달 각도를 결정하도록 구성된다.
양태 17: 방법은 양태 1 내지 양태 16 중 어느 하나에 따른 동작들을 포함한다.
양태 18: 컴퓨터 판독가능 매체는 컴퓨터 또는 프로세서로 하여금 양태 1 내지 양태 16 중 어느 하나에 따른 동작들을 수행하게 하기 위한 적어도 하나의 명령을 포함한다.
양태 19: 장치는 양태 1 내지 양태 18 중 어느 하나에 따른 동작들을 수행하는 수단을 포함한다.
Claims (32)
- 무선 디바이스로서,
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하고;
상기 RF 감지 데이터의 제 1 세트에 기초하여 상기 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하고; 그리고
상기 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하도록
구성되는, 무선 디바이스. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 RF 감지 데이터의 제 1 세트에 기초하여 상기 제 1 리플렉터의 포지션을 결정하고; 그리고
상기 제 1 리플렉터의 포지션으로 지향된 공간 사운드 필터를 구성하도록
구성되고, 상기 공간 사운드 필터는 상기 적어도 하나의 음향 설정에 대응하는, 무선 디바이스. - 제 2 항에 있어서,
상기 제 1 리플렉터의 분류는 인간에 대응하고, 상기 공간 사운드 필터는 고정된 빔포머에 대응하는, 무선 디바이스. - 제 2 항에 있어서,
상기 제 1 리플렉터의 분류는 음향 간섭 오브젝트에 대응하고, 상기 공간 사운드 필터는 널 빔포머에 대응하는, 무선 디바이스. - 제 2 항에 있어서,
상기 적어도 하나의 프로세서에 커플링된 복수의 마이크로폰들을 더 포함하고,
상기 적어도 하나의 프로세서는 추가로,
상기 복수의 마이크로폰들을 통해, 상기 제 1 리플렉터로부터 제 1 오디오 신호를 수신하고;
상기 제 1 오디오 신호와 연관된 도달 방향을 결정하고; 그리고
상기 제 1 오디오 신호와 연관된 상기 도달 방향에 기초하여 상기 공간 사운드 필터를 조정하도록
구성되는, 무선 디바이스. - 제 2 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 RF 감지 데이터의 제 1 세트에 기초하여, 상기 복수의 리플렉터들로부터 상기 제 1 리플렉터에 대한 제 2 리플렉터의 근접도를 결정하고; 그리고
상기 공간 사운드 필터의 구성에 기초하여, 상기 제 1 리플렉터 또는 상기 제 2 리플렉터 중 적어도 하나를 이동시키기 위한 명령을 제공하도록
구성되는, 무선 디바이스. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서에 커플링된 오디오 검출 디바이스를 더 포함하고,
상기 적어도 하나의 음향 설정을 결정하기 위해, 상기 적어도 하나의 프로세서는 추가로,
상기 제 1 리플렉터의 분류가 사운드를 생성할 수 있는 오브젝트에 대응함을 결정하는 것에 응답하여 상기 오디오 검출 디바이스를 유휴 모드로부터 인에이블하는 것으로서, 상기 오디오 검출 디바이스는 스피치 입력을 수신하도록 구성되는, 상기 오디오 검출 디바이스를 인에이블하고; 그리고
상기 사운드를 생성할 수 있는 오브젝트가 검출되는 것에 기초하여 상기 오디오 검출 디바이스가 스피치 입력을 수신할 준비가 되었다는 표시를 제공하도록
구성되는, 무선 디바이스. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 제 1 리플렉터의 분류가 인간에 대응함을 결정하는 것에 응답하여, 상기 복수의 리플렉터들로부터 반사된 제 2 송신 파형에 대응하는 제 2 복수의 수신 파형들과 연관된 RF 감지 데이터의 제 2 세트를 획득하도록
구성되고, 상기 제 2 송신 파형은 상기 제 1 송신 파형보다 더 높은 대역폭을 갖는, 무선 디바이스. - 제 8 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 RF 감지 데이터의 제 2 세트에 적어도 기초하여, 상기 인간과 연관된 아이덴티티를 결정하도록 구성되는, 무선 디바이스. - 제 9 항에 있어서,
상기 적어도 하나의 음향 설정은 상기 아이덴티티와 연관되고, 디바이스 음향 파라미터, 로컬 어플리케이션 파라미터, 원격 어플리케이션 파라미터, 환경 파라미터, 또는 이들의 임의의 조합 중 적어도 하나를 포함하는, 무선 디바이스. - 제 8 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 RF 감지 데이터의 제 2 세트에 적어도 기초하여, 상기 인간의 움직임을 결정하도록 구성되는, 무선 디바이스. - 제 11 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 인간이 오디오 디바이스의 임계 거리 내에 있음을 결정하고; 그리고
상기 오디오 디바이스를 인에이블하기 위한 신호를 전송하도록
구성되는, 무선 디바이스. - 제 1 항에 있어서,
상기 제 1 송신 파형은 제 2 무선 디바이스에 의해 송신되는, 무선 디바이스. - 제 1 항에 있어서,
상기 RF 감지 데이터의 제 1 세트는 채널 상태 정보 (CSI) 데이터를 포함하는, 무선 디바이스. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서에 커플링된 적어도 하나의 트랜시버를 더 포함하고,
상기 적어도 하나의 프로세서는 추가로,
상기 적어도 하나의 트랜시버를 통해, 상기 제 1 송신 파형을 송신하고; 그리고
상기 적어도 하나의 트랜시버를 통해, 상기 제 1 복수의 수신 파형들을 수신하도록
구성되는, 무선 디바이스. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서는 추가로,
상기 RF 감지 데이터의 제 1 세트에 기초하여 상기 무선 디바이스와 상기 제 1 리플렉터 사이의 거리 및 도달 각도를 결정하도록 구성되는, 무선 디바이스. - 복수의 리플렉터들로부터 반사된 제 1 송신 파형에 대응하는 제 1 복수의 수신 파형들과 연관된 무선 주파수 (RF) 감지 데이터의 제 1 세트를 획득하는 단계;
상기 RF 감지 데이터의 제 1 세트에 기초하여 상기 복수의 리플렉터들로부터의 제 1 리플렉터의 분류를 결정하는 단계; 및
상기 제 1 리플렉터의 분류에 기초하여 적어도 하나의 음향 설정을 결정하는 단계를 포함하는, 방법. - 제 17 항에 있어서,
상기 RF 감지 데이터의 제 1 세트에 기초하여 상기 제 1 리플렉터의 포지션을 결정하는 단계; 및
상기 제 1 리플렉터의 포지션으로 지향된 공간 사운드 필터를 구성하는 단계를 더 포함하고,
상기 공간 사운드 필터는 상기 적어도 하나의 음향 설정에 대응하는, 방법. - 제 18 항에 있어서,
상기 제 1 리플렉터의 분류는 인간에 대응하고, 상기 공간 사운드 필터는 고정된 빔포머에 대응하는, 방법. - 제 18 항에 있어서,
상기 제 1 리플렉터의 분류는 음향 간섭 오브젝트에 대응하고, 상기 공간 사운드 필터는 널 빔포머에 대응하는, 방법. - 제 18 항에 있어서,
복수의 마이크로폰들을 통해, 상기 제 1 리플렉터로부터 제 1 오디오 신호를 수신하는 단계;
상기 제 1 오디오 신호와 연관된 도달 방향을 결정하는 단계; 및
상기 제 1 오디오 신호와 연관된 상기 도달 방향에 기초하여 상기 공간 사운드 필터를 조정하는 단계를 더 포함하는, 방법. - 제 18 항에 있어서,
상기 RF 감지 데이터의 제 1 세트에 기초하여, 상기 복수의 리플렉터들로부터 상기 제 1 리플렉터에 대한 제 2 리플렉터의 근접도를 결정하는 단계; 및
상기 공간 사운드 필터의 구성에 기초하여, 상기 제 1 리플렉터 또는 상기 제 2 리플렉터 중 적어도 하나를 이동시키기 위한 명령을 제공하는 단계를 더 포함하는, 방법. - 제 17 항에 있어서,
상기 제 1 리플렉터의 분류가 사운드를 생성할 수 있는 오브젝트에 대응함을 결정하는 것에 응답하여 오디오 검출 디바이스를 유휴 모드로부터 인에이블하는 단계로서, 상기 오디오 검출 디바이스는 스피치 입력을 수신하도록 구성되는, 상기 오디오 검출 디바이스를 인에이블하는 단계; 및
상기 사운드를 생성할 수 있는 오브젝트가 검출되는 것에 기초하여 상기 오디오 검출 디바이스가 스피치 입력을 수신할 준비가 되었다는 표시를 제공하는 단계를 더 포함하는, 방법. - 제 17 항에 있어서,
상기 제 1 리플렉터의 분류가 인간에 대응함을 결정하는 것에 응답하여, 상기 복수의 리플렉터들로부터 반사된 제 2 송신 파형에 대응하는 제 2 복수의 수신 파형들과 연관된 RF 감지 데이터의 제 2 세트를 획득하는 단계를 더 포함하고,
상기 제 2 송신 파형은 상기 제 1 송신 파형보다 더 높은 대역폭을 갖는, 방법. - 제 24 항에 있어서,
상기 RF 감지 데이터의 제 2 세트에 적어도 기초하여, 상기 인간과 연관된 아이덴티티를 결정하는 단계를 더 포함하는, 방법. - 제 25 항에 있어서,
상기 적어도 하나의 음향 설정은 상기 아이덴티티와 연관되고, 디바이스 음향 파라미터, 로컬 어플리케이션 파라미터, 원격 어플리케이션 파라미터, 환경 파라미터, 또는 이들의 임의의 조합 중 적어도 하나를 포함하는, 방법. - 제 24 항에 있어서,
상기 RF 감지 데이터의 제 2 세트에 적어도 기초하여, 상기 인간의 움직임을 결정하는 단계를 더 포함하는, 방법. - 제 27 항에 있어서,
상기 인간이 오디오 디바이스의 임계 거리 내에 있음을 결정하는 단계; 및
상기 오디오 디바이스를 인에이블하기 위한 신호를 전송하는 단계를 더 포함하는, 방법. - 제 17 항에 있어서,
상기 제 1 송신 파형은 제 2 무선 디바이스에 의해 송신되는, 방법. - 제 17 항에 있어서,
상기 RF 감지 데이터의 제 1 세트는 채널 상태 정보 (CSI) 데이터를 포함하는, 방법. - 제 17 항에 있어서,
적어도 하나의 트랜시버를 통해, 상기 제 1 송신 파형을 송신하는 단계; 및
상기 적어도 하나의 트랜시버를 통해, 상기 제 1 복수의 수신 파형들을 수신하는 단계를 더 포함하는, 방법. - 제 17 항에 있어서,
상기 RF 감지 데이터의 제 1 세트에 기초하여 무선 디바이스와 상기 제 1 리플렉터 사이의 거리 및 도달 각도를 결정하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GR20210100326 | 2021-05-14 | ||
| GR20210100326 | 2021-05-14 | ||
| PCT/US2022/027333 WO2022240609A1 (en) | 2021-05-14 | 2022-05-02 | Acoustic configuration based on radio frequency sensing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240008310A true KR20240008310A (ko) | 2024-01-18 |
Family
ID=81750889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237038104A KR20240008310A (ko) | 2021-05-14 | 2022-05-02 | 무선 주파수 감지에 기초한 음향 구성 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240155303A1 (ko) |
| EP (1) | EP4338434A1 (ko) |
| KR (1) | KR20240008310A (ko) |
| CN (1) | CN117203986A (ko) |
| BR (1) | BR112023023073A2 (ko) |
| WO (1) | WO2022240609A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024064468A1 (en) * | 2022-09-20 | 2024-03-28 | Qualcomm Incorporated | Voice user interface assisted with radio frequency sensing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9747917B2 (en) * | 2013-06-14 | 2017-08-29 | GM Global Technology Operations LLC | Position directed acoustic array and beamforming methods |
| US10225680B2 (en) * | 2013-07-30 | 2019-03-05 | Thomas Alan Donaldson | Motion detection of audio sources to facilitate reproduction of spatial audio spaces |
| IL243513B2 (en) * | 2016-01-07 | 2023-11-01 | Noveto Systems Ltd | A system and method for voice communication |
-
2022
- 2022-05-02 KR KR1020237038104A patent/KR20240008310A/ko unknown
- 2022-05-02 BR BR112023023073A patent/BR112023023073A2/pt unknown
- 2022-05-02 CN CN202280030492.1A patent/CN117203986A/zh active Pending
- 2022-05-02 EP EP22725035.4A patent/EP4338434A1/en active Pending
- 2022-05-02 WO PCT/US2022/027333 patent/WO2022240609A1/en active Application Filing
- 2022-05-02 US US18/549,508 patent/US20240155303A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022240609A1 (en) | 2022-11-17 |
| EP4338434A1 (en) | 2024-03-20 |
| BR112023023073A2 (pt) | 2024-01-30 |
| US20240155303A1 (en) | 2024-05-09 |
| CN117203986A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108139460B (zh) | 使用超声脉冲和无线电信号的云协调定位系统 | |
| Cai et al. | Ubiquitous acoustic sensing on commodity iot devices: A survey | |
| US11755886B2 (en) | Passive positioning with radio frequency sensing labels | |
| US10928498B1 (en) | Electronic device with circular radar-antenna array | |
| US11575452B2 (en) | Passive positioning with radio frequency sensing | |
| US20220337972A1 (en) | Self-supervised passive positioning using wireless data | |
| WO2022105756A1 (zh) | 定位方法、装置、终端设备、基站及位置管理服务器 | |
| WO2022256203A1 (en) | Controlling device and processing settings based on radio frequency sensing | |
| KR20230152662A (ko) | 라디오 주파수 감지를 이용한 얼굴 인식 | |
| US20240155303A1 (en) | Acoustic configuration based on radio frequency sensing | |
| Xiong | Pushing the limits of indoor localization in today’s Wi-Fi networks | |
| US11909835B2 (en) | Content transfer using radio frequency sensing | |
| US20220413088A1 (en) | Radar for full-blockage detection of radio frequency modules in mobile devices | |
| US20230232183A1 (en) | Determining communication nodes for radio frequency (rf) sensing | |
| WO2024064468A1 (en) | Voice user interface assisted with radio frequency sensing | |
| US12022358B2 (en) | Self-supervised passive positioning using wireless data | |
| US20220413120A1 (en) | Angle estimation with multi-frame processing for radar on mobile devices | |
| WO2023220912A1 (en) | Target identification using micro-doppler signature | |
| TW202414383A (zh) | 利用射頻感測輔助的語音使用者介面 | |
| US20220413116A1 (en) | Multi-frame radar processing for robust body part detection for mobile devices | |
| EP4323794A1 (en) | Self-supervised passive positioning using wireless data | |
| EP4348286A1 (en) | Self-supervised passive positioning using wireless data | |
| Wang et al. | Rotate and Guide: Accurate and Lightweight Indoor Direction Finding Using Smartphones |