KR20230169969A - 라디오 주파수 감지 라벨들에 의한 수동 포지셔닝 - Google Patents
라디오 주파수 감지 라벨들에 의한 수동 포지셔닝 Download PDFInfo
- Publication number
- KR20230169969A KR20230169969A KR1020237034246A KR20237034246A KR20230169969A KR 20230169969 A KR20230169969 A KR 20230169969A KR 1020237034246 A KR1020237034246 A KR 1020237034246A KR 20237034246 A KR20237034246 A KR 20237034246A KR 20230169969 A KR20230169969 A KR 20230169969A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- data
- location
- radio frequency
- detection models
- Prior art date
Links
- 238000012549 training Methods 0.000 claims abstract description 226
- 238000000034 method Methods 0.000 claims abstract description 133
- 238000002372 labelling Methods 0.000 claims abstract description 131
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 238000010801 machine learning Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 230000009471 action Effects 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 24
- 230000004807 localization Effects 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 description 93
- 230000006870 function Effects 0.000 description 56
- 230000008569 process Effects 0.000 description 41
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000011176 pooling Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 36
- 238000013528 artificial neural network Methods 0.000 description 30
- 238000005259 measurement Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 230000004913 activation Effects 0.000 description 23
- 238000001994 activation Methods 0.000 description 23
- 230000008054 signal transmission Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000009021 linear effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000004606 Fillers/Extenders Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000289581 Macropus sp. Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
- G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/318—Received signal strength
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/18—Network planning tools
- H04W16/20—Network planning tools for indoor coverage or short range network deployment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Radar Systems Or Details Thereof (AREA)
- Mobile Radio Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
라디오 주파수 감지 검출 동작들을 수행하기 위한 시스템들, 방법들, 및 비-일시적인 매체들이 개시되어 있다. 예를 들어, 적어도 하나의 무선 디바이스와 연관되는 라디오 주파수 데이터가 수신될 수 있다. 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초할 수 있다. 훈련 라벨 데이터는 또한, (예컨대, 라벨링 디바이스, 적어도 하나의 무선 디바이스 등으로부터) 획득될 수 있다. 훈련 라벨 데이터는 제1 객체 및 입력 데이터(예컨대, 라벨링 디바이스, 적어도 하나의 무선 디바이스 등에 의해 수신됨)에 적어도 부분적으로 기초할 수 있다. 감지 모델은 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 생성될 수 있다.
Description
[0001]
개시내용의 양상들은 일반적으로 무선 포지셔닝(wireless positioning) 등에 관한 것이다. 일부 구현예들에서는, RF(radio frequency) 감지 라벨링(labeling)에 의한 수동 포지셔닝(passive positioning)을 제공하기 위한 예가 설명되어 있다.
[0002]
무선 감지 디바이스들은 주어진 환경에서 객체(object)들을 검출하기 위하여 이용될 수 있는 라디오 주파수 특징들을 제공할 수 있다. 예를 들어, 라디오 주파수 감지 디바이스들은, 환경 전반에 걸쳐 분산될 수 있고 사용자들이 환경 전반에 걸쳐 이동하는 것을 추적하도록 구성될 수 있는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다. 다양한 전기통신 기능들을 구현하기 위하여, 무선 감지 디바이스들은 라디오 주파수(RF) 신호들을 송신하고 수신하도록 구성되는 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수 있다. 예를 들어, 무선 디바이스는 그 중에서도 Wi-Fi, 5G/NR(New Radio), BluetoothTM, 및/또는 UWB(ultra-wideband)를 통해 통신하도록 구성될 수 있다.
[0003]
다음은 본원에서 개시된 하나 이상의 양상들에 관련되는 단순화된 개요를 제시한다. 따라서, 다음의 개요는 모든 고려된 양상들에 관련되는 포괄적인 개관으로 간주되지 않아야 하고, 모든 고려된 양상들에 관련되는 핵심적이거나 결정적인 엘리먼트들을 식별하거나 임의의 특정한 양상과 연관된 범위를 서술하도록 간주되지 않아야 한다. 따라서, 다음의 개요는 이하에서 제시된 상세한 설명에 선행하기 위한 단순화된 형태로 본원에서 개시된 메커니즘들에 관련되는 하나 이상의 양상들에 관련되는 어떤 개념들을 제시하기 위한 유일한 목적을 갖는다.
[0004]
라디오 주파수 신호들을 감지하기 위한 시스템들, 장치들, 방법들, 및 컴퓨터-판독가능 매체들이 개시되어 있다. 적어도 하나의 예에 따르면, 하나 이상의 감지 모델(sensing model)들을 훈련(train)시키기 위한 방법이 제공된다. 방법은 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하는 단계 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터(training label data)를 획득하는 단계 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하는 단계를 포함할 수 있다.
[0005]
또 다른 예에서는, 적어도 하나의 네트워크 인터페이스, 적어도 하나의 메모리, 및 적어도 하나의 메모리에 결합되는 적어도 하나의 프로세서(예컨대, 회로부 내에 구성됨)를 포함하는, 하나 이상의 감지 모델들을 훈련시키기 위한 장치가 제공된다. 적어도 하나의 프로세서는 적어도 하나의 네트워크 인터페이스를 통해, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하고 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하고 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하도록 구성된다.
[0006]
또 다른 예에서는, 적어도 하나의 명령을 포함하는 비-일시적인 컴퓨터-판독가능 저장 매체가 제공되고, 적어도 하나의 명령은, 컴퓨터 또는 프로세서로 하여금, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하게 하고 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하게 하고 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하게 하기 위한 것이다.
[0007]
또 다른 예에서는, 하나 이상의 감지 모델들을 훈련시키기 위한 장치가 제공된다. 장치는 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하기 위한 수단 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하기 위한 수단 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하기 위한 수단을 포함한다.
[0008]
일부 양상들에서, 장치는 모바일 디바이스(예컨대, 모바일 전화 또는 소위 "스마트 폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 확장 현실 디바이스(예컨대, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스, 또는 MR(mixed reality) 디바이스), 태블릿, 개인용 컴퓨터, 랩톱 컴퓨터, 서버 컴퓨터, 무선 액세스 포인트, 차량 또는 차량의 컴포넌트, 또는 RF 인터페이스를 갖는 다른 임의의 다른 디바이스와 같은 무선 디바이스이거나 그 일부이다.
[0009]
이 개요는 청구된 발명 요지의 핵심적인 또는 필수적인 특징들을 식별하도록 의도된 것도 아니고, 청구된 발명 요지의 범위를 결정하기 위하여 별개로 이용되도록 의도된 것도 아니다. 발명 요지는 이 특허의 전체 명세서, 임의의 또는 모든 도면들, 및 각각의 청구항의 적절한 부분들을 참조하여 이해되어야 한다.
[0010]
본원에서 개시된 양상들과 연관된 다른 목적들 및 장점들은 첨부 도면들 및 상세한 설명에 기초하여 본 기술분야에서의 통상의 기술자들에게 분명할 것이다.
[0011]
첨부한 도면들은 개시내용의 다양한 양상들의 설명을 보조하도록 제시되고, 양상들의 제한이 아니라, 전적으로 양상들의 예시를 위하여 제공된다.
[0012] 도 1은 일부 예들에 따라, 사용자 디바이스의 컴퓨팅 시스템의 예를 예시하는 블록도이다.
[0013] 도 2는 일부 예들에 따라, 사용자 존재를 검출하고 얼굴 인식을 수행하기 위하여 RF(radio frequency) 감지 기법들을 사용하는 무선 디바이스의 예를 예시하는 도면이다.
[0014] 도 3은 일부 예들에 따라, 사용자 존재를 검출하고 얼굴 인식을 수행하기 위한 무선 디바이스들을 포함하는 환경의 예를 예시하는 도면이다.
[0015] 도 4는 일부 예들에 따라, 분산된 감지 시스템의 예를 예시하는 도면이다.
[0016] 도 5a 내지 도 5c는 일부 예들에 따라, 분산된 감지 시스템을 사용하는 객체 검출의 예들을 예시하는 도면들이다.
[0017] 도 6은 일부 예들에 따라, 신호 강도 대 공간 내의 신호 포지션의 예시적인 그래프를 예시하는 도면이다.
[0018] 도 7은 일부 예들에 따라, 레이더 단면적 측정들에 대한 예시적인 블록도를 예시하는 도면이다.
[0019] 도 8은 일부 예들에 따라, 분산된 감지 시스템의 예를 예시하는 도면이다.
[0020] 도 9는 일부 예들에 따라, 라벨링 절차의 예를 예시하는 도면이다.
[0021] 도 10은 일부 예들에 따라, 분산된 감지 시스템에 의해 수행되는 예시적인 라벨링 동작을 예시하는 도면이다.
[0022] 도 11은 일부 예들에 따라, 심층 학습 신경망(deep learning neural network)의 예를 예시하는 블록도이다.
[0023] 도 12는 일부 예들에 따라, CNN(convolutional neural network)의 예를 예시하는 블록도이다.
[0024] 도 13은 일부 예들에 따라, 하나 이상의 감지 모델들을 훈련시키기 위한 프로세스의 예시적인 흐름도를 예시한다.
[0025] 도 14는 일부 예들에 따라, 예시적인 컴퓨팅 시스템을 예시한다.
[0012] 도 1은 일부 예들에 따라, 사용자 디바이스의 컴퓨팅 시스템의 예를 예시하는 블록도이다.
[0013] 도 2는 일부 예들에 따라, 사용자 존재를 검출하고 얼굴 인식을 수행하기 위하여 RF(radio frequency) 감지 기법들을 사용하는 무선 디바이스의 예를 예시하는 도면이다.
[0014] 도 3은 일부 예들에 따라, 사용자 존재를 검출하고 얼굴 인식을 수행하기 위한 무선 디바이스들을 포함하는 환경의 예를 예시하는 도면이다.
[0015] 도 4는 일부 예들에 따라, 분산된 감지 시스템의 예를 예시하는 도면이다.
[0016] 도 5a 내지 도 5c는 일부 예들에 따라, 분산된 감지 시스템을 사용하는 객체 검출의 예들을 예시하는 도면들이다.
[0017] 도 6은 일부 예들에 따라, 신호 강도 대 공간 내의 신호 포지션의 예시적인 그래프를 예시하는 도면이다.
[0018] 도 7은 일부 예들에 따라, 레이더 단면적 측정들에 대한 예시적인 블록도를 예시하는 도면이다.
[0019] 도 8은 일부 예들에 따라, 분산된 감지 시스템의 예를 예시하는 도면이다.
[0020] 도 9는 일부 예들에 따라, 라벨링 절차의 예를 예시하는 도면이다.
[0021] 도 10은 일부 예들에 따라, 분산된 감지 시스템에 의해 수행되는 예시적인 라벨링 동작을 예시하는 도면이다.
[0022] 도 11은 일부 예들에 따라, 심층 학습 신경망(deep learning neural network)의 예를 예시하는 블록도이다.
[0023] 도 12는 일부 예들에 따라, CNN(convolutional neural network)의 예를 예시하는 블록도이다.
[0024] 도 13은 일부 예들에 따라, 하나 이상의 감지 모델들을 훈련시키기 위한 프로세스의 예시적인 흐름도를 예시한다.
[0025] 도 14는 일부 예들에 따라, 예시적인 컴퓨팅 시스템을 예시한다.
[0026]
이 개시내용의 어떤 양상들 및 실시예들은 예시 목적들을 위하여 이하에서 제공된다. 대안적인 양상들은 개시내용의 범위로부터 이탈하지 않으면서 고안될 수 있다. 추가적으로, 개시내용의 널리-공지된 엘리먼트들은 상세하게 설명되지 않거나, 개시내용의 관련된 세부사항들을 모호하게 하지 않도록 생략될 것이다. 본 기술분야에서의 통상의 기술자에게 명백한 바와 같이, 본원에서 설명된 양상들 및 실시예들의 일부는 독립적으로 적용될 수 있고 이들의 일부는 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적들을 위하여, 특정 세부사항들이 출원의 실시예들의 철저한 이해를 제공하기 위하여 기재된다. 그러나, 다양한 실시예들은 이 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 도면들 및 설명은 한정적인 것으로 의도된 것이 아니다.
[0027]
뒤따르는 설명은 예시적인 실시예들을 오직 제공하고, 개시내용의 범위, 적용가능성, 또는 구성을 제한하도록 의도된 것이 아니다. 오히려, 예시적인 실시예들의 뒤따르는 설명은 본 기술분야에서의 통상의 기술자들에게 예시적인 실시예를 구현하기 위한 가능한 설명을 제공할 것이다. 첨부된 청구항들에서 기재된 바와 같은 출원의 사상 및 범위로부터 이탈하지 않으면서, 엘리먼트들의 기능 및 배열에 있어서 다양한 변경들이 행해질 수 있다는 것이 이해되어야 한다.
[0028]
용어들 "예시적" 및/또는 "예"는 "예, 사례, 또는 예시로서 작용함"을 의미하기 위하여 본원에서 이용된다. "예시적" 및/또는 "예"로서 본원에서 설명된 임의의 양상은 다른 양상들에 비해 바람직하거나 유리한 것으로서 반드시 해석되어야 하는 것은 아니다. 마찬가지로, 용어 "개시내용의 양상들"은 개시내용의 모든 양상들이 논의된 특징, 장점, 또는 동작 모드를 포함한다는 것을 요구하지 않는다.
[0029]
많은 감지 디바이스들(예컨대, 휴대용 전자 디바이스들, 스마트폰들, 태블릿들, 랩톱들, 및 WiFi 메시 액세스 포인트들)은 라디오 주파수 감지(또한, RF 감지로서 지칭됨)를 수행할 수 있다. 예를 들어, 감지 디바이스들은 객체 검출(예컨대, 침입자가 구내에 진입한 것으로 결정함)을 수행하기 위하여 RF 감지 기법들을 사용할 수 있다. RF 감지는 그 중에서도, 객체 이동을 추적하는 것, 가정 및 사업 보안을 제공하는 것과 같은 많은 애플리케이션들을 갖는다.
[0030]
일부 예들에서, 라디오 주파수 감지는 사람들 및 활동 특성화의 수동적 포지셔닝 또는 모션(motion)과 같은, 환경에서의 변경들을 검출하고 특성화하기 위하여 신호들(예컨대, WiFi 신호들, 3GPP 신호들, BluetoothTM 신호들 등)을 사용할 수 있다. 예를 들어, 라디오 주파수 감지 시스템은, 본원에서 설명된 바와 같이, 환경에서 하나 이상의 이동 객체들(예컨대, 사람 또는 다른 객체)의 정확한 검출을 제공하기 위하여, 감지 디바이스들로서 지칭될 수 있는 무선 디바이스들(예컨대, WiFi 액세스 포인트들 또는 다른 디바이스들)과 연관된 통신들을 분석할 수 있다. 감지 검출 동작들의 예들은 그 중에서도, 모션(예컨대, 모션의 존재 또는 모션의 결여 또는 비-모션), 모션 패턴들(예컨대, 걷기, 추락, 제스처들, 또는 다른 모션), 모션 위치(예컨대, 포지션), 모션 추적(예컨대, 시간 경과에 따른 사람과 같은 객체의 이동), 사람 또는 동물의 활력 징후들(예컨대, 호흡, 심박수 등), 이들의 임의의 조합, 및/또는 다른 정보를 검출하는 것을 포함한다. 하나의 예시적인 예에서, 이동 객체의 포지셔닝은 멀티-룸(multi-room) 환경에서 결정될 수 있다.
[0031]
일부 경우들에 있어서, 머신 학습 기반 시스템은 그 중에서도, 포지션 검출, 모션 검출, 모션 추적과 같은 다양한 감지 검출 동작들을 수행하기 위하여 이용될 수 있다. 라벨들 및 테스트 또는 훈련 데이터를 이용하여, 머신 학습 시스템은 감지 검출 동작들을 수행하도록 훈련될 수 있다. 그러나, 이러한 머신 학습 시스템을 효과적으로 훈련시키기 위하여 충분한 라벨들을 획득하는 것은 어려울 수 있다. 예를 들어, 검출된 객체들 및 환경에 관하여 충분한 정보가 이용가능하지 않은 사례들이 있을 수 있다.
[0032]
시스템들, 장치들, 프로세스들(또한, 방법들로서 지칭됨), 및 컴퓨터-판독가능 매체들(집합적으로, "시스템들 및 기법들"로서 지칭됨)은 라디오 주파수 감지 검출 동작들(예컨대, 모션 또는 모션 없음을 검출하는 것, 모션 패턴들을 검출하는 것, 객체들 또는 사람들의 포지션/위치를 검출하는 것, 모션 추적, 사람 또는 동물의 활력 징후들을 검출하는 것, 및/또는 다른 동작들)을 수행하기 위한 라벨들을 효과적으로 그리고 효율적으로 제공하기 위하여 본원에서 설명된다. 예를 들어, 시스템들 및 기법들은 라디오 주파수 감지 시스템이, 라디오 주파수 감지 동작들을 수행하도록 머신 학습 시스템을 훈련시키기 위하여 이용될 수 있는 라벨들을 제공하고 및/또는 획득하는 것을 가능하게 한다. 라디오 주파수 감지 시스템은 분산된 감지 시스템으로서 지칭될 수 있고, 환경 전반에 걸쳐 전개되는 분산된 감지 디바이스들을 포함할 수 있다. 분산된 감지 시스템은 분산된 감지 시스템의 훈련 국면(training phase) 동안에 라디오 주파수 감지 측정들과 함께 라벨들(예컨대, 훈련 라벨들)을 결정할 수 있고 및/또는 수신할 수 있다. 일부 경우들에 있어서, 본원에서 설명된 바와 같이, 사용자와 연관된 무선 디바이스(예컨대, 사용자의 모바일 전화, 카메라 시스템, 태블릿 디바이스, 컴퓨터, 또는 다른 디바이스)(라벨링 디바이스(labeling device)로서 지칭됨) 및/또는 감지 디바이스(예컨대, RF 신호들을 수신할 수 있고 및/또는 RF 감지 데이터를 제공할 수 있는 액세스 포인트 및/또는 다른 디바이스)는, 라벨들이 생성될 때의 추정된 채널 조건들과 연관될 수 있는, 수동적으로 제공된 사용자 입력들과 같은 실시간 라벨들을 분산된 감지 시스템에 제공할 수 있다. 일부 경우들에 있어서, 분산된 감지 시스템은, 라벨들이 생성될 때의 추정된 채널 조건들(예컨대, RF(radio frequency) 감지 측정 데이터)과 연관된 라벨들을 생성하기 위하여 이용될 수 있는, 무선 디바이스의 포지션 정보를 자동적으로 결정할 수 있다. 일부 경우들에 있어서, (예컨대, RF 감지 데이터가 라벨들과 정확하게 연관되는 것을 허용하기 위하여) 라벨들은 분산된 감지 시스템에 의해 RF 감지 데이터와 동기화될 수 있다.
[0033]
예를 들어, 분산된 감지 시스템은 라벨링 디바이스(예컨대, 사용자의 모바일 전화, 카메라 시스템, 태블릿 디바이스, 컴퓨터, 또는 다른 디바이스)로부터 입력 라벨들을 수신하고, 분산된 감지 시스템의 하나 이상의 감지 디바이스들에 의해 수신되는 RF 감지 데이터를 또한 수신하도록 구성될 수 있다. 위에서 언급된 바와 같이, 일부 경우들에 있어서, 하나 이상의 감지 디바이스들은 라벨들을 (라벨링 디바이스들에 추가적으로, 또는 라벨링 디바이스에 대한 대안으로서) 분산된 감지 시스템에 제공할 수 있다. 하나 이상의 감지 디바이스들은, RF 신호들을 수신할 수 있고 그리고/또는 RF 감지 데이터를 제공할 수 있는 액세스 포인트들(예컨대, Wi-Fi 액세스 포인트) 및/또는 다른 디바이스를 포함할 수 있다. 분산된 감지 시스템은 수집된 라벨들을 RF 감지 데이터와 동기화할 수 있어서, RF 감지 데이터는 라벨들과 정확하게 연관된다. 일단 머신 학습 시스템이 라벨링 디바이스들에 의해 수신되는 라벨들을 이용하여 훈련되면, 하나 이상의 머신 학습 모델들(예컨대, 신경망(neural network)들)은 감지 동작들(예컨대, 포지션, 모션 등)을 수행하기 위하여 분산된 감지 시스템에 의해 사용될 수 있다. 시스템들 및 기법들은 생물 객체들(예컨대, 사람)의 라디오 주파수 감지 검출 동작들을 수행하는 것에 대하여 본원에서 설명되지만, 시스템들 및 기법들은 무생물 객체들, 예컨대, 벽들, 가구, 도어들 등과 같은 다른 객체들의 라디오 주파수 감지를 수행하기 위하여 이용될 수 있다.
[0034]
위에서 언급된 바와 같이, 분산된 감지 시스템은 하나 이상의 라벨링 디바이스들을 포함할 수 있거나 이들과 통신할 수 있고, 및/또는 하나 이상의 감지 디바이스들은 라벨들을 제공할 수 있다. 일부 예들에서, 하나 이상의 라벨링 디바이스들 및/또는 감지 디바이스들은, 라벨들을 생성하고 및/또는 결정하기 위하여 이용될 수 있는 정적 카메라 시스템(static camera system)을 포함할 수 있다. 예를 들어, 카메라는 가정 또는 회사 건물과 같은 환경 내의 관심 있는 위치들 및 객체들의 이미지들(예컨대, 픽처들 또는 비디오)을 캡처(capture)하도록 구성될 수 있다. 일부 양상들에서, 정적 카메라 시스템은 관심 있는 객체들, 사람들, 및 활동들(예컨대, 객체들에 의한 이동)을 검출하고, 검출된 관심 있는 객체들 및 활동들에 대한 대응하는 라벨들을 생성하기 위하여, (예컨대, 도 6 및 도 7에서 예시된 것들과 같은) 본원에서 설명된 알고리즘들을 사용할 수 있다. 예를 들어, "주방(kitchen)"의 라벨은 사람이 건물의 주방에서 검출될 때에 배정될 수 있다. 일부 양상들에서, 라벨은 건물에 대하여 정의된 기준계에 대한, 예컨대, 미터(meter)인 검출된 사람의 좌표들을 포함할 수 있다. 일부 양상들에서, 정적 카메라 시스템은 생성된 라벨들(예컨대, 훈련 라벨들)을 타임스탬핑(timestamp)할 수 있고, 본원에서 설명된 바와 같은 감지 목적들을 위하여 라벨들을 분산된 감지 시스템에 제공할 수 있다. 라벨들은 분산된 감지 시스템의 하나 이상의 감지 디바이스들에 의해 획득되는 RF 감지 데이터와 연관될 수 있다. 예를 들어, 위의 예를 계속하면, "주방"의 라벨은 사람이 주방에 위치될 때, 하나 이상의 감지 디바이스들에 의해 수신되는 RF 감지 데이터와 연관될 수 있다.
[0035]
일부 구현예들에서, 분산된 감지 시스템의 머신 학습 시스템의 전개 훈련 국면 동안에, 분산된 감지 시스템은 본원에서 설명된 바와 같이, 감지 목적들을 위한 디바이스의 포지션을 결정하기 위하여, 하나 이상의 IMU(inertial measurement unit) 센서들(예컨대, 가속도계(accelerometer)들, 자이로스코프(gyroscope)들 등) 및/또는 SLAM(simultaneous location and mapping) 기법들(예컨대, IMU 데이터 및 이미지 데이터가 조합하여 이용될 수 있는 경우)을 사용할 수 있다. 일부 양상들에서, 디바이스는 감지 검출의 타겟인 사용자에 의해 또는 객체에 의해 휴대될 수 있고, 이에 의해, 머신 학습 모델들의 훈련을 위한 라벨로서 이용되어야 할 타겟의 위치를 제공한다. 일부 경우들에 있어서, 분산된 감지 시스템은, 로봇(robot)들, HMD(head-mounted display)들, 모바일 핸드셋들, 및 자율 차량들과 같은, 카메라들을 갖는 디바이스들에서 이용되는 연산 기하구조 기법(computational geometry technique)인 VSLAM(visual simultaneous localization and mapping)을 사용할 수 있다. 디바이스에 의해 결정되는 포지션은 예를 들어, 라디오 주파수 감지 검출 동작들을 수행하기 위하여 분산된 감지 시스템에 의해 사용되는 머신 학습 시스템의 훈련 동작들을 수행하기 위하여, 훈련 라벨 데이터로서 사용될 수 있다.
[0036]
일부 구현예들에서, 분산된 감지 시스템의 머신 학습 시스템의 전개 훈련 국면 동안에, 사용자는 예를 들어, 건물의 평면도(floorplan)를 맵핑하기 위하여 다양한 룸을 가로질러 걷는 것에 의해, 주어진 공간의 토폴로지(topology)를 맵핑하기 위하여 무선 디바이스(예컨대, 감지 측정 디바이스, 또는 모바일 디바이스와 같은 라벨링 디바이스)를 사용할 수 있다. 일부 양상들에서, 사용자와 연관된 무선 디바이스는 RF 감지 신호들을 송신하고 수신하고, RF 감지 신호들(예컨대, RSSI(received signal strength indicator) 데이터, CSI(channel state information) 데이터, 및/또는 본원에서 설명된 바와 같은 왕복 시간 측정(round trip time measurement)들과 같은 다른 RF 감지 데이터)에 기초하여 RF 감지 측정들을 결정하고, 본원에서 설명된 바와 같은 감지 목적들을 위해 RF 감지 측정들 및 위치 라벨들을 분산된 감지 시스템에 제공하도록 구성될 수 있다.
[0037]
분산된 감지 시스템의 머신 학습 시스템의 훈련 동안에, 머신 학습 시스템의 노드들의 가중치들 및/또는 다른 파라미터들은 역전파(backpropagation)로 칭해진 훈련 프로세스를 이용하여 튜닝될 수 있거나 조절될 수 있다. 도 11 및 도 12에 대하여 이하에서 더 상세하게 설명된 바와 같이, 역전파 프로세스는 순방향 패스(forward pass), 손실 함수, 역방향 패스(backward pass), 및 가중치 업데이트를 포함할 수 있다. 순방향 패스, 손실 함수, 역방향 패스, 및 파라미터 업데이트는 하나의 훈련 반복에 대하여 수행된다. 프로세스는 머신 학습 시스템이 충분히 양호하게 훈련되어, 가중치들 및/또는 다른 파라미터들이 정확하게 튜닝될 때까지, 훈련 데이터의 각각의 세트(예컨대, 위에서 설명된 훈련 라벨 데이터를 포함함)에 대한 어떤 수의 반복들에 대하여 반복될 수 있다.
[0038]
본원에서 설명된 시스템들 및 기법들의 다양한 양상들은 도면들에 대하여 이하에서 논의될 것이다. 도 1은 사용자 디바이스(107)의 컴퓨팅 시스템(170)의 예를 예시한다. 사용자 디바이스(107)는 최종-사용자에 의해 이용될 수 있는 디바이스의 예이다. 예를 들어, 사용자 디바이스(107)는 무선 통신 네트워크 상에서 통신하기 위하여 사용자에 의해 이용되는 모바일 전화, 라우터, 태블릿 컴퓨터, 랩톱 컴퓨터, 추적 디바이스, 웨어러블 디바이스(예컨대, 스마트 워치, 안경, XR 디바이스 등), IoT(Internet of Things) 디바이스, 차량(또는 차량의 컴퓨팅 디바이스), 및/또는 또 다른 디바이스를 포함할 수 있다. 일부 경우들에 있어서, 디바이스는 Wi-Fi 표준을 이용하여 통신하도록 구성된 디바이스를 지칭할 때와 같이, STA(station)로서 지칭될 수 있다. 일부 경우들에 있어서, 디바이스는 5G/NR(New Radio), LTE(Long-Term Evolution), 또는 다른 전기통신 표준을 이용하여 통신하도록 구성된 디바이스를 지칭할 때와 같이, UE(user equipment)로서 지칭될 수 있다.
[0039]
컴퓨팅 시스템(170)은 버스(189)를 통해 전기적으로 또는 통신적으로 결합될 수 있는(또는 이와 다르게, 적절한 바와 같이, 통신할 수 있는) 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다. 예를 들어, 컴퓨팅 시스템(170)은 하나 이상의 프로세서들(184)을 포함한다. 하나 이상의 프로세서들(184)은 하나 이상의 CPU들, ASIC들, FPGA들, AP들, GPU들, VPU들, NSP들, 마이크로제어기들, 전용 하드웨어, 이들의 임의의 조합, 및/또는 다른 프로세싱 디바이스/들 및/또는 시스템/들을 포함할 수 있다. 버스(189)는 코어들 사이에서 및/또는 하나 이상의 메모리 디바이스들(186)과 통신하기 위하여 하나 이상의 프로세서들(184)에 의해 이용될 수 있다.
[0040]
컴퓨팅 시스템(170)은 또한, 하나 이상의 메모리 디바이스들(186), 하나 이상의 DSP(digital signal processor)들(182), 하나 이상의 SIM(subscriber identity module)들(174), 하나 이상의 모뎀들(176), 하나 이상의 무선 트랜시버들(178), 하나 이상의 안테나들(187), 하나 이상의 입력 디바이스들(172)(예컨대, 카메라, 마우스, 키보드, 터치 감지 스크린, 터치 패드, 키패드, 마이크로폰, 및/또는 등), 및 하나 이상의 출력 디바이스들(180)(예컨대, 디스플레이, 스피커, 프린터, 및/또는 등)을 포함할 수 있다.
[0041]
하나 이상의 무선 트랜시버들(178)은 다른 사용자 디바이스들, 네트워크 디바이스들(예컨대, eNB들 및/또는 gNB들과 같은 기지국들, 라우터들, 범위 확장기들 등과 같은 WiFi AP(access point)들 등), 클라우드 네트워크들, 및/또는 등과 같은 하나 이상의 다른 디바이스들로부터 안테나(187)를 통해 무선 신호들(예컨대, 신호(188))을 수신할 수 있다. 일부 예들에서, 컴퓨팅 시스템(170)은 동시 송신 및 수신 기능성을 용이하게 할 수 있는 다수의 안테나들 또는 안테나 어레이(antenna array)를 포함할 수 있다. 안테나(187)는 무지향성 안테나(omnidirectional antenna)일 수 있어서, RF 신호들은 모든 방향들에서 수신될 수 있고 송신될 수 있다. 무선 신호(188)는 무선 네트워크를 통해 송신될 수 있다. 무선 네트워크는 셀룰러 또는 전기통신 네트워크(예컨대, 3G, 4G, 5G 등), 무선 로컬 영역 네트워크(예컨대, WiFi 네트워크), BluetoothTM 네트워크, 및/또는 다른 네트워크와 같은 임의의 무선 네트워크일 수 있다. 일부 예들에서, 하나 이상의 무선 트랜시버들(178)은 다른 컴포넌트들 중에서, 증폭기, 신호 다운 변환(down conversion)을 위한 혼합기(또한, 신호 승산기(signal multiplier)로서 지칭됨), 신호들을 혼합기에 제공하는 주파수 합성기(또한, 발진기(oscillator)로서 지칭됨), 기저대역 필터, ADC(analog-to-digital converter), 하나 이상의 전력 증폭기들과 같은 하나 이상의 컴포넌트들을 포함하는 RF 프론트 엔드(front end)를 포함할 수 있다. RF 프론트-엔드는 일반적으로, 기저대역 또는 중간 주파수로의 무선 신호들(188)의 선택 및 변환을 처리할 수 있고, RF 신호들을 디지털 도메인으로 변환할 수 있다.
[0042]
일부 경우들에 있어서, 컴퓨팅 시스템(170)은 하나 이상의 무선 트랜시버들(178)을 이용하여 송신되고 및/또는 수신되는 데이터를 인코딩 및/또는 디코딩하도록 구성된 코딩-디코딩 디바이스(또는 CODEC)를 포함할 수 있다. 일부 경우들에 있어서, 컴퓨팅 시스템(170)은 하나 이상의 무선 트랜시버들(178)에 의해 송신되고 및/또는 수신되는 (예컨대, AES(Advanced Encryption Standard) 및/또는 DES(Data Encryption Standard) 표준에 따른) 데이터를 암호화하고 그리고/또는 복호화하도록 구성된 암호화-복호화 디바이스 또는 컴포넌트를 포함할 수 있다.
[0043]
하나 이상의 SIM들(174) 각각은 IMSI(international mobile subscriber identity) 번호 및 사용자 디바이스(107)의 사용자에게 배정되는 관련된 키(key)를 보안성 있게 저장할 수 있다. IMSI 및 키는 하나 이상의 SIM들(174)과 연관된 네트워크 서비스 제공자 또는 운영자에 의해 제공되는 네트워크를 액세스할 때, 가입자를 식별하고 인증하기 위하여 이용될 수 있다. 하나 이상의 모뎀들(176)은 하나 이상의 무선 트랜시버들(178)을 이용하는 송신을 위한 정보를 인코딩하기 위하여 하나 이상의 신호들을 변조할 수 있다. 하나 이상의 모뎀들(176)은 또한, 송신된 정보를 디코딩하기 위하여 하나 이상의 무선 트랜시버들(178)에 의해 수신되는 신호들을 복조할 수 있다. 일부 예들에서, 하나 이상의 모뎀들(176)은 WiFi 모뎀, 4G(또는 LTE) 모뎀, 5G(또는 NR) 모뎀, 및/또는 다른 유형들의 모뎀들을 포함할 수 있다. 하나 이상의 모뎀들(176) 및 하나 이상의 무선 트랜시버들(178)은 하나 이상의 SIM들(174)에 대한 데이터를 통신하기 위하여 이용될 수 있다.
[0044]
컴퓨팅 시스템(170)은 또한, 로컬 및/또는 네트워크 액세스가능한 스토리지, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 프로그래밍가능, 플래시-업데이트가능 및/또는 등일 수 있는 RAM 및/또는 ROM과 같은 솔리드-스테이트 저장 디바이스를 제한 없이 포함할 수 있는 하나 이상의 비-일시적인 머신-판독가능 저장 매체들 또는 저장 디바이스들(예컨대, 하나 이상의 메모리 디바이스들(186))을 포함할 수 있다(및/또는 이와 통신함). 이러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들, 및/또는 등을 제한 없이 포함하는 임의의 적절한 데이터 스토리지를 구현하도록 구성될 수 있다.
[0045]
다양한 실시예들에서, 기능들은 메모리 디바이스(들)(186) 내에 하나 이상의 컴퓨터-프로그램 제품들(예컨대, 명령들 또는 코드)로서 저장될 수 있고, 하나 이상의 프로세서(들)(184) 및/또는 하나 이상의 DSP들(182)에 의해 실행될 수 있다. 컴퓨팅 시스템(170)은 또한, 본원에서 설명된 바와 같이, 다양한 실시예들에 의해 제공되는 기능들을 구현하는 컴퓨터 프로그램들을 포함할 수 있고, 및/또는 방법을 구현하고 및/또는 시스템들을 구성하도록 설계될 수 있는 하나 이상의 애플리케이션 프로그램들과 같은, 예를 들어, 오퍼레이팅 시스템, 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드를 포함하는 소프트웨어 엘리먼트들(예컨대, 하나 이상의 메모리 디바이스들(186) 내에 위치됨)을 포함할 수 있다.
[0046]
도 2는 사용자(202)의 존재를 검출하는 것, 사용자의 배향 특성들을 검출하는 것, 모션 검출을 수행하는 것, 이들의 임의의 조합과 같은 하나 이상의 기능들을 수행하기 위하여, 및/또는 다른 기능들을 수행하기 위하여, RF 감지 기법들을 사용하는 무선 디바이스(200)의 예를 예시하는 도면이다. 일부 예들에서, 무선 디바이스(200)는 모바일 전화, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 적어도 하나의 RF 인터페이스를 포함하는 다른 디바이스와 같은 사용자 디바이스(107)일 수 있다. 일부 예들에서, 무선 디바이스(200)는 무선 AP(access point), 기지국(예컨대, gNB, eNB 등), 또는 적어도 하나의 RF 인터페이스를 포함하는 다른 디바이스와 같은, 사용자 디바이스를 위한(예컨대, 사용자 디바이스(107)를 위한) 접속성을 제공하는 디바이스일 수 있다.
[0047]
일부 양상들에서, 무선 디바이스(200)는 RF 신호를 송신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 무선 디바이스(200)는, (예컨대, 예시되지 않은 마이크로프로세서로부터) 디지털 신호 또는 파형을 수신할 수 있고 신호 또는 파형을 아날로그 파형으로 변환할 수 있는 DAC(digital-to-analog converter)(204)를 포함할 수 있다. DAC(204)의 출력인 아날로그 신호는 RF 송신기(206)에 제공될 수 있다. RF 송신기(206)는 Wi-Fi 송신기, 5G/NR 송신기, BluetoothTM 송신기, 또는 RF 신호를 송신할 수 있는 임의의 다른 송신기일 수 있다.
[0048]
RF 송신기(206)는 TX 안테나(212)와 같은 하나 이상의 송신 안테나들에 결합될 수 있다. 일부 예들에서, TX 안테나(212)는 모든 방향들에서 RF 신호를 송신할 수 있는 무지향성 안테나일 수 있다. 예를 들어, TX 안테나(212)는 360-도 방사 패턴으로 Wi-Fi 신호들(예컨대, 2.4 GHz, 5 GHz, 6 GHz 등)을 방사할 수 있는 무지향성 Wi-Fi 안테나일 수 있다. 또 다른 예에서, TX 안테나(212)는 특정한 방향에서 RF 신호를 송신할 수 있는 지향성 안테나일 수 있다.
[0049]
일부 예들에서, 무선 디바이스(200)는 또한, RF 신호를 수신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 무선 디바이스(200) 내의 수신기 라인업(lineup)은 RX 안테나(214)와 같은 하나 이상의 수신 안테나들을 포함할 수 있다. 일부 예들에서, RX 안테나(214)는 다수의 방향들로부터 RF 신호들을 수신할 수 있는 무지향성 안테나일 수 있다. 다른 예들에서, RX 안테나(214)는 특정한 방향으로부터 신호들을 수신하도록 구성되는 지향성 안테나일 수 있다. 추가의 예들에서, TX 안테나(212) 및 RX 안테나(214)의 둘 모두는 안테나 어레이로서 구성된 다수의 안테나들(예컨대, 엘리먼트들)을 포함할 수 있다.
[0050]
무선 디바이스(200)는 또한, RX 안테나(214)에 결합되는 RF 수신기(210)를 포함할 수 있다. RF 수신기(210)는 Wi-Fi 신호, BluetoothTM 신호, 5G/NR 신호, 또는 임의의 다른 RF 신호와 같은 RF 파형을 수신하기 위한 하나 이상의 하드웨어 컴포넌트들을 포함할 수 있다. RF 수신기(210)의 출력은 ADC(analog-to-digital converter)(208)에 결합될 수 있다. ADC(208)는 수신된 아날로그 RF 파형을, 디지털 신호 프로세서(예시되지 않음)와 같은 프로세서에 제공될 수 있는 디지털 파형으로 변환하도록 구성될 수 있다.
[0051]
하나의 예에서, 무선 디바이스(200)는 TX 파형(216)이 TX 안테나(212)로부터 송신되게 함으로써 RF 감지 기법들을 구현할 수 있다. TX 파형(216)은 단일 라인으로서 예시되지만, 일부 경우들에 있어서, TX 파형(216)은 무지향성 TX 안테나(212)에 의해 모든 방향들에서 송신될 수 있다. 하나의 예에서, TX 파형(216)은 무선 디바이스(200) 내의 Wi-Fi 송신기에 의해 송신되는 Wi-Fi 파형일 수 있다. 일부 경우들에 있어서, TX 파형(216)은 Wi-Fi 데이터 통신 신호 또는 Wi-Fi 제어 기능 신호(예컨대, 비콘 송신(beacon transmission))와 동시에 또는 이와 거의 동시에 송신되는 Wi-Fi 파형에 대응할 수 있다. 일부 예들에서, TX 파형(216)은 Wi-Fi 데이터 통신 신호 또는 Wi-Fi 제어 기능 신호(예컨대, 비콘 송신(beacon transmission))와 동일하거나 유사한 주파수 자원을 이용하여 송신될 수 있다. 일부 양상들에서, TX 파형(216)은 Wi-Fi 데이터 통신 신호 및/또는 Wi-Fi 제어 신호로부터 별도로 송신되는 Wi-Fi 파형에 대응할 수 있다(예컨대, TX 파형(216)은 상이한 시간들에서 및/또는 상이한 주파수 자원을 이용하여 송신될 수 있음).
[0052]
일부 예들에서, TX 파형(216)은 5G NR 데이터 통신 신호 또는 5G NR 제어 기능 신호와 동시에 또는 이와 거의 동시에 송신되는 5G NR 파형에 대응할 수 있다. 일부 예들에서, TX 파형(216)은 5G-NR 데이터 통신 신호 또는 5G NR 제어 기능 신호와 동일하거나 유사한 주파수 자원을 이용하여 송신될 수 있다. 일부 양상들에서, TX 파형(216)은 5G NR 데이터 통신 신호 및/또는 5G NR 제어 신호로부터 별도로 송신되는 5G NR 파형에 대응할 수 있다(예컨대, TX 파형(216)은 상이한 시간들에서 및/또는 상이한 주파수 자원을 이용하여 송신될 수 있음).
[0053]
일부 양상들에서는, RF 감지 분해능을 증가시키거나 감소시키기 위하여 이용될 수 있는 TX 파형(216)과 연관된 하나 이상의 파라미터들이 수정될 수 있다. 파라미터들은 주파수, 대역폭, 공간적 스트림들의 수, TX 파형(216)을 송신하도록 구성된 안테나들의 수, TX 파형(216)에 대응하는 반사된 RF 신호를 수신하도록 구성된 안테나들의 수, 공간적 링크들의 수(예컨대, RF 신호를 수신하도록 구성된 안테나들의 수에 의해 승산된 공간적 스트림들의 수), 샘플링 레이트, 또는 이들의 임의의 조합을 포함할 수 있다.
[0054]
추가의 예들에서, TX 파형(216)은 완벽한 또는 거의 완벽한 자동상관(autocorrelation) 성질들을 갖는 시퀀스를 가지도록 구현될 수 있다. 예를 들어, TX 파형(216)은 단일 캐리어 Zadoff 시퀀스들을 포함할 수 있거나, OFDM(orthogonal frequency-division multiplexing) LTF(Long Training Field) 심볼(symbol)들과 유사한 심볼들을 포함할 수 있다. 일부 경우들에 있어서, TX 파형(216)은 예를 들어, FM-CW(Frequency-Modulated Continuous-Wave) 레이더 시스템에서 이용된 바와 같은 처프 신호(chirp signal)를 포함할 수 있다. 일부 구성들에서, 처프 신호는 신호 주파수가 선형 및/또는 지수함수적 방식으로 주기적으로 증가하고 및/또는 감소하는 신호를 포함할 수 있다.
[0055]
일부 양상들에서, 무선 디바이스(200)는 동시 송신 및 수신 기능들을 수행함으로써 RF 감지 기법들을 추가로 구현할 수 있다. 예를 들어, 무선 디바이스(200)가 RF 송신기(206)가 TX 파형(216)을 송신하는 것을 가능하게 하는 것과 동시에 또는 이와 거의 동시에, 무선 디바이스(200)는 그 RF 수신기(210)가 수신하는 것을 가능하게 할 수 있다. 일부 예들에서, TX 파형(216) 내에 포함되는 시퀀스 또는 패턴의 송신은 연속적으로 반복될 수 있어서, 시퀀스는 어떤 횟수로 또는 어떤 시간의 기간 동안에 송신된다. 일부 예들에서, TX 파형(216)의 송신에서 패턴을 반복하는 것은, RF 수신기(210)가 RF 송신기(206) 후에 인에이블(enable)되는 경우에, 임의의 반사된 신호들의 수신을 누락하는 것을 회피하기 위하여 이용될 수 있다. 하나의 예시적인 구현예에서, TX 파형(216)은 2 이상의 횟수로 송신되는, 시퀀스 길이 L을 갖는 시퀀스를 포함할 수 있고, 이것은 임의의 정보를 누락하지 않으면서 전체 시퀀스에 대응하는 반사들을 수신하기 위하여, RF 수신기(210)가 L 이하인 시간에서 인에이블(enable)되는 것을 허용할 수 있다.
[0056]
동시 송신 및 수신 기능성을 구현함으로써, 무선 디바이스(200)는 TX 파형(216)에 대응하는 임의의 신호들을 수신할 수 있다. 예를 들어, 무선 디바이스(200)는 사용자(202)로부터 반사되는 RX 파형(218)과 같은 TX 파형(216)의 범위 내에 있는 객체들 또는 사람들로부터 반사되는 신호들을 수신할 수 있다. 무선 디바이스(200)는 또한, 임의의 객체들로부터 반사하지 않으면서 TX 안테나(212)로부터 RX 안테나(214)로 직접적으로 결합되는 누설 신호들(예컨대, TX 누설 신호(220))을 수신할 수 있다. 예를 들어, 누설 신호들은 임의의 객체들로부터 반사하지 않으면서 무선 디바이스 상의 송신기 안테나(예컨대, TX 안테나(212))로부터 무선 디바이스 상의 수신 안테나(예컨대, RX 안테나(214))로 전송되는 신호들을 포함할 수 있다. 일부 경우들에 있어서, RX 파형(218)은 TX 파형(216) 내에 포함되는 시퀀스의 다수의 복사본(copy)들에 대응하는 다수의 시퀀스들을 포함할 수 있다. 일부 예들에서, 무선 디바이스(200)는 SNR(signal to noise ratio)을 개선시키기 위하여 RF 수신기(210)에 의해 수신되는 다수의 시퀀스들을 조합할 수 있다.
[0057]
무선 디바이스(200)는 TX 파형(216)에 대응하는 수신된 신호들의 각각과 연관된 RF 감지 데이터를 획득함으로써 RF 감지 기법들을 추가로 구현할 수 있다. 일부 예들에서, RF 감지 데이터는 TX 파형(216)에 대응하는 반사된 경로들(예컨대, RX 파형(218))에 관련되는 데이터와 함께, TX 파형(216)의 직접 경로들(예컨대, 누설 신호(220))에 관련되는 CSI(channel state information) 데이터를 포함할 수 있다.
[0058]
일부 양상들에서, RF 감지 데이터(예컨대, CSI 데이터)는 RF 신호(예컨대, TX 파형(216))가 RF 송신기(206)로부터 RF 수신기(210)로 전파하는 방식을 결정하기 위하여 이용될 수 있는 정보를 포함할 수 있다. RF 감지 데이터는 산란(scattering), 페이딩(fading), 및/또는 거리에 따른 전력 감쇠, 또는 이들의 임의의 조합으로 인한 송신된 RF 신호에 대한 효과들에 대응하는 데이터를 포함할 수 있다. 일부 예들에서, RF 감지 데이터는 특정한 대역폭에 대한 주파수 도메인에서의 각각의 톤(tone)에 대응하는 허수 데이터(imaginary data) 및 실수 데이터(real data)(예컨대, I/Q 컴포넌트들)를 포함할 수 있다.
[0059]
일부 예들에서, RF 감지 데이터는 RX 파형(218)과 같은 반사된 파형들에 대응하는 거리들 및 도달 각도(angle of arrival)들을 계산하기 위하여 이용될 수 있다. 추가의 예들에서, RF 감지 데이터는 또한, 모션을 검출하거나, 위치를 결정하거나, 위치 또는 모션 패턴들에서의 변경들을 검출하거나, 채널 추정을 획득하거나, 또는 이들의 임의의 조합을 행하기 위하여 이용될 수 있다. 일부 경우들에 있어서, 반사된 신호들의 거리 및 도달 각도는 객체 존재/인접성(presence/proximity)을 검출하고, 객체 관심(object attention)을 검출하고, 및/또는 모션 검출을 수행하기 위하여, 주위 환경에서의 사용자들(예컨대, 사용자(202))의 크기, 포지션, 이동, 또는 배향을 식별하기 위해 이용될 수 있다.
[0060]
무선 디바이스(200)는 신호 프로세싱을 사용하는 것, 머신 학습 알고리즘들, 임의의 다른 적당한 기법을 이용하는 것, 또는 이들의 임의의 조합에 의해 반사된 파형들에 대응하는 거리들 및 도달 각도들(예컨대, RX 파형(218)에 대응하는 거리 및 도달 각도)을 계산할 수 있다. 다른 예들에서, 무선 디바이스(200)는 RF 감지 데이터를, RX 파형(218) 또는 다른 반사된 파형들에 대응하는 거리 및 도달 각도를 획득하기 위한 계산들을 수행할 수 있는 서버와 같은 또 다른 컴퓨팅 디바이스로 전송할 수 있다.
[0061]
하나의 예에서, RX 파형(218)의 거리는 누설 신호의 수신으로부터 반사된 신호들의 수신까지의 시간에 있어서의 차이를 측정함으로써 계산될 수 있다. 예를 들어, 무선 디바이스(200)는 무선 디바이스(200)가 TX 파형(216)을 송신하는 시간으로부터 그것이 누설 신호(220)를 수신하는 시간까지의 차이(예컨대, 전파 지연)에 기초하는 제로(zero)의 기준선 거리를 결정할 수 있다. 무선 디바이스(200)는 그 다음으로, 무선 디바이스(200)가 TX 파형(216)을 송신하는 시간으로부터 무선 디바이스(200)가 RX 파형(218)을 수신하는 시간까지의 차이(예컨대, 비행 시간(time of flight)에 기초하여 RX 파형(218)과 연관된 거리를 결정할 수 있고, 이 차이는 그 다음으로, 누설 신호(220)와 연관된 전파 지연에 따라 조절될 수 있다. 그렇게 행할 시에, 무선 디바이스(200)는 반사를 야기하였던 사용자(예컨대, 사용자(202))의 존재 및 이동을 결정하기 위하여 이용될 수 있는 RX 파형(218)에 의해 이동(travel)된 거리를 결정할 수 있다.
[0062]
추가의 예들에서, RX 파형(218)의 도달 각도는 안테나(214)와 같은 수신 안테나 어레이의 개별적인 엘리먼트들 사이의 RX 파형(218)의 도달 시간 차이를 측정함으로써 계산될 수 있다. 일부 예들에서, 도달 시간 차이는 수신 안테나 어레이 내의 각각의 엘리먼트에서 수신된 위상에서의 차이를 측정함으로써 계산될 수 있다.
[0063]
일부 경우들에 있어서, RX 파형(218)의 거리 및 도달 각도는 무선 디바이스(200)와 사용자(202) 사이의 거리 뿐만 아니라, 무선 디바이스(200)에 대한 사용자(202)의 포지션을 결정하기 위하여 이용될 수 있다. RX 파형(218)의 거리 및 도달 각도는 또한, 사용자(202)의 존재, 이동, 인접성, 관심, 아이덴티티(identity), 또는 이들의 임의의 조합을 결정하기 위하여 이용될 수 있다. 예를 들어, 무선 디바이스(200)는 사용자(202)가 무선 디바이스(200)를 향해 걷고 있는 것으로 결정하기 위하여 RX 파형(218)에 대응하는 계산된 거리 및 도달 각도를 사용할 수 있다. 무선 디바이스(200)에 대한 사용자(202)의 인접성에 기초하여, 무선 디바이스(200)는 디바이스를 언록킹(unlock)하기 위하여 얼굴 인증을 활성화할 수 있다. 일부 양상들에서, 얼굴 인증은 사용자(202)가 무선 디바이스(200)의 임계 거리 내에 있는 것에 기초하여 활성화될 수 있다. 임계 거리들의 예들은 2 피트(feet), 1 피트, 6 인치(inch), 3 인치, 또는 임의의 다른 거리를 포함할 수 있다.
[0064]
위에서 언급된 바와 같이, 무선 디바이스(200)는 모바일 디바이스들(예컨대, 스마트폰들, 랩톱들, 태블릿들, 액세스 포인트들 등) 또는 다른 유형들의 디바이스들을 포함할 수 있다. 일부 예들에서, 무선 디바이스(200)는 RF 감지 데이터와 함께, 디바이스 위치 데이터 및 디바이스 배향 데이터를 획득하도록 구성될 수 있다. 일부 사례들에서, 디바이스 위치 데이터 및 디바이스 배향 데이터는 RX 파형(218)과 같은 반사된 신호의 거리 및 도달 각도를 결정하거나 조절하기 위하여 이용될 수 있다. 예를 들어, 사용자(202)가 RF 감지 프로세스 동안에 테이블을 향해 걷고 있을 때, 무선 디바이스(200)는 천장을 향하는 테이블 상에 놓여질 수 있다. 이 사례에서, 무선 디바이스(200)는 사용자(202)가 걷고 있는 방향을 결정하기 위하여, RF 감지 데이터와 함께, 그 위치 데이터 및 배향 데이터를 이용할 수 있다.
[0065]
일부 예들에서, 디바이스 포지션 데이터는, RTT(round trip time) 측정들, 수동 포지셔닝, 도달 각도, RSSI(received signal strength indicator), CSI 데이터, 임의의 다른 적당한 기법을 이용하는 것, 또는 이들의 임의의 조합을 포함하는 기법들을 이용하여 무선 디바이스(200)에 의해 수집될 수 있다. 추가의 예들에서, 디바이스 배향 데이터는 자이로스코프, 가속도계, 나침반(compass), 자력계(magnetometer), 기압계(barometer), 임의의 다른 적당한 센서, 또는 이들의 임의의 조합과 같은, 무선 디바이스(200) 상의 전자 센서들로부터 획득될 수 있다.
[0066]
도 3은 무선 디바이스(302), AP(access point)(304), 및 사용자(308)를 포함하는 환경(300)을 예시하는 도면이다. 무선 디바이스(302)는 사용자 디바이스(예컨대, 모바일 디바이스 또는 임의의 다른 유형의 디바이스와 같은, 도 1의 사용자 디바이스(107))를 포함할 수 있다. AP(304)는 또한, 일부 예들에서 감지 디바이스, 라디오 주파수 감지 디바이스, 또는 무선 디바이스로서 지칭될 수 있다. 도시된 바와 같이, 사용자(308)는 제1 사용자 포지션(309a), 제2 사용자 포지션(309b), 및 제3 사용자 포지션(309c)을 포함하는 (예컨대, 무선 디바이스(302)를 갖는) 상이한 포지션들로 이동할 수 있다. 일부 양상들에서, 무선 디바이스(302) 및 AP(304) 각각은 사용자(308)의 존재를 검출하고, 사용자(308)의 이동을 검출하고, 이들의 임의의 조합을 행하고, 및/또는 사용자(308)에 대한 다른 기능들을 수행하기 위하여, RF 감지를 수행하도록 구성될 수 있다.
[0067]
일부 양상들에서, AP(304)는 도 2의 무선 디바이스(200)에 대하여 본원에서 설명된 컴포넌트들과 같은, RF 신호들을 동시에 송신하고 수신하도록 구성될 수 있는 하드웨어 및 소프트웨어 컴포넌트들을 포함하는 Wi-Fi 액세스 포인트일 수 있다. 예를 들어, AP(304)는 RF 신호를 송신하도록 구성될 수 있는 하나 이상의 안테나들, 및 RF 신호를 수신하도록 구성될 수 있는 하나 이상의 안테나들(예컨대, 안테나(306))을 포함할 수 있다. 도 2의 무선 디바이스(200)에 대하여 주목된 바와 같이, AP(304)는 임의의 방향으로부터 신호들을 송신하고 수신하도록 구성되는 무지향성 안테나들 또는 안테나 어레이들을 포함할 수 있다.
[0068]
일부 양상들에서, AP(304) 및 무선 디바이스(302)는 송신 및 수신 기능들이 상이한 디바이스들에 의해 수행되는 쌍안정 구성(bistatic configuration)을 구현하도록 구성될 수 있다. 예를 들어, AP(304)는 신호(310a) 및 신호(310b)를 포함할 수 있는 무지향성 RF 신호를 송신할 수 있다. 예시된 바와 같이, 신호(310a)는 AP(304)로부터 무선 디바이스(302)로 직접적으로(예컨대, 반사들 없음) 이동할 수 있고, 신호(310b)는 포지션(309a)에서 사용자(308)로부터 반사할 수 있고, 대응하는 반사된 신호(312)가 무선 디바이스(302)에 의해 수신되게 할 수 있다.
[0069]
일부 예들에서, 무선 디바이스(302)는 포지션(309a)에서 사용자(308)의 존재, 위치, 배향, 및/또는 이동을 결정하기 위하여 신호(310a) 및 신호(310b)와 연관된 RF 감지 데이터를 사용할 수 있다. 예를 들어, 무선 디바이스(302)는 AP(304)와 연관된 위치 데이터를 획득할 수 있고, 인출(retrieve)할 수 있고, 및/또는 추정할 수 있다. 일부 양상들에서, 무선 디바이스(302)는 AP(304)에 의해 송신되는 연관된 신호들(예컨대, 신호(310a)와 같은 직접 경로 신호들, 및 신호(312)와 같은 반사된 경로 신호들)의 비행 시간, 거리, 및/또는 도달 각도를 결정하기 위하여 AP(304)와 연관된 위치 데이터 및 RF 감지 데이터(예컨대, CSI 데이터)를 이용할 수 있다. 일부 경우들에 있어서, AP(304) 및 무선 디바이스(302)는, RF 신호(310a) 및/또는 반사된 신호(312)와 연관된 데이터(예컨대, 송신 시간, 시퀀스/패턴, 도달 시간, 도달 각도 등)를 포함할 수 있는 통신을 추가로 전송할 수 있고 및/또는 수신할 수 있다.
[0070]
일부 예들에서, 무선 디바이스(302)는 단안정 구성(monostatic configuration)을 이용하여 RF 감지를 수행하도록 구성될 수 있고, 이 경우에, 무선 디바이스(302)는 송신 및 수신 기능들(예컨대, 무선 디바이스(200)와 관련하여 논의된 동시 TX/RX)의 둘 모두를 수행한다. 예를 들어, 무선 디바이스(302)는 RF 신호(314)를 송신함으로써 포지션(309b)에서의 사용자(308)의 존재 또는 이동을 검출할 수 있고, 이것은 포지션(309b)에서의 사용자(308)로부터의 반사된 신호(316)가 무선 디바이스(302)에 의해 수신되게 할 수 있다.
[0071]
일부 양상들에서, 무선 디바이스(302)는 반사된 신호(316)와 연관된 RF 감지 데이터를 획득할 수 있다. 예를 들어, RF 감지 데이터는 반사된 신호(316)에 대응하는 CSI 데이터를 포함할 수 있다. 추가의 양상들에서, 무선 디바이스(302)는 반사된 신호(316)에 대응하는 거리 및 도달 각도를 계산하기 위하여 RF 감지 데이터를 이용할 수 있다. 예를 들어, 무선 디바이스(302)는 누설 신호(예시되지 않음)와 반사된 신호(316) 사이의 차이에 기초하여 반사된 신호(316)에 대한 비행 시간을 계산함으로써 거리를 결정할 수 있다. 추가의 예들에서, 무선 디바이스(302)는 반사된 신호들을 수신하기 위하여 안테나 어레이를 사용함으로써, 그리고 안테나 어레이의 각각의 엘리먼트에서 수신된 위상에서의 차이를 측정함으로써, 도달 각도를 결정할 수 있다.
[0072]
일부 예들에서, 무선 디바이스(302)는 'K'로서 표현된 주파수들(예컨대, 톤(tone)들)의 수 및 'N'으로서 표현된 안테나 어레이 엘리먼트들의 수에 기초하는 행렬(matrix)을 공식화하기 위하여 이용될 수 있는 CSI 데이터의 형태인 RF 감지 데이터를 획득할 수 있다. 하나의 기법에서, CSI 행렬은 수학식 (1)에 의해 주어진 관계에 따라 공식화될 수 있다:
[0073]
(1)
[0074]
CSI 행렬을 공식화할 시에, 무선 디바이스(302)는 2-차원 푸리에 변환(Two-Dimensional Fourier transform)을 사용함으로써 직접 신호 경로들(예컨대, 누설 신호들) 뿐만 아니라 반사된 신호 경로들(예컨대, 반사된 신호(316))에 대한 도달 각도 및 비행 시간을 계산할 수 있다. 하나의 예에서, 푸리에 변환은 이하의 수학식 (2)에 의해 주어진 관계에 의해 정의될 수 있고, 여기서, K는 주파수 도메인에서의 톤들의 수에 대응하고; N은 수신 안테나들의 수에 대응하고; 는 번째 안테나 및 번째 톤 상에서 캡처된 CSI 데이터에 대응하고(예컨대, 실수 및 허수 성분을 갖는 복소수); 는 반송파 주파수에 대응하고; 은 안테나 이격에 대응하고; 는 광의 속력에 대응하고; 는 2개의 인접한 톤 사이의 주파수 이격에 대응한다. 수학식 (2)의 관계는 다음과 같이 제공된다:
[0075]
(2)
[0076]
일부 양상들에서, 누설 신호들(예컨대, 누설 신호(220) 및/또는 다른 누설 신호들)은 반복적 상쇄 방법을 이용함으로써 상쇄될 수 있다.
[0077]
일부 경우들에 있어서, 무선 디바이스(302)는 포지션(309b)에서의 사용자(308)의 존재 또는 이동을 검출하기 위하여 반사된 신호(316)에 대응하는 거리 및 도달 각도를 사용할 수 있다. 다른 예들에서, 무선 디바이스(302)는 제3 포지션(309c)으로의 사용자(308)의 추가의 이동을 검출할 수 있다. 무선 디바이스(302)는 포지션(309c)에서의 사용자(308)로부터의 반사된 신호(320)를 야기시키는 RF 신호(318)를 송신할 수 있다. 반사된 신호(320)와 연관된 RF 감지 데이터에 기초하여, 무선 디바이스(302)는 포지션(309c)에서의 사용자(308)의 존재를 결정할 수 있고, 사용자의 머리 존재 및/또는 배향을 검출할 수 있고, 얼굴 인식 뿐만 아니라 얼굴 인증을 수행할 수 있다.
[0078]
일부 구현예들에서, 무선 디바이스(302)는 모션 검출, 객체 분류를 수행하고, 및/또는 사용자(308)에 관련되는 머리 배향을 검출하기 위하여 인공 지능 또는 머신 학습 알고리즘들을 사용할 수 있다. 일부 예들에서, 머신 학습 기법들은, 신경망들, 선형 및 로직스틱 회귀(linear and logistics regression), 분류 트리(classification tree)들, 지원 벡터 머신(support vector machine), 임의의 다른 적당한 감독된 머신 학습 기법, 또는 이들의 임의의 조합을 사용하는 것들과 같은 감독된 머신 학습 기법들을 포함할 수 있다. 예를 들어, 샘플 RF 감지 데이터의 데이터세트(dataset)는 머신 학습 알고리즘들 또는 인공 지능의 훈련을 위하여 선택될 수 있다.
[0079]
일부 양상들에서, 무선 디바이스(302) 및 AP(304)는 서로 또는 Wi-Fi 네트워크와의 그 연관성에 관계없이 RF 감지 기법들을 수행할 수 있다. 예를 들어, 무선 디바이스(302)가 임의의 액세스 포인트 또는 Wi-Fi 네트워크와 연관되지 않을 때에 본원에서 논의된 바와 같이, 무선 디바이스(302)는 RF 감지를 수행하기 위하여 그 Wi-Fi 송신기 및 Wi-Fi 수신기를 사용할 수 있다. 추가의 예들에서는, AP(304)가 자신과 연관된 임의의 무선 디바이스들을 갖는지 여부에 관계없이, AP(304)는 RF 감지 기법들을 수행할 수 있다.
[0080]
라디오 주파수 감지 시스템의 전개(deployment)는 라디오 주파수 감지 시스템의 셋업 시에, 데이터를 감지하는 것과 함께 라벨들을 사용할 때에 더 효과적이고 효율적일 수 있다. 라디오 주파수 감지 시스템에 의한 감지 검출들의 실현가능성 또는 정확도는 라디오 주파수 감지 시스템의 다양한 감지 디바이스들(예컨대, 액세스 포인트들)의 포지션의 함수일 수 있다. 예를 들어, 사용자가 포지셔닝 목적들을 위하여 자신의 가정에서 감지 디바이스들을 전개하도록 의도하는 경우에, 사용자는 감지 디바이스들의 배치가 관심 있는 영역들을 커버하기 위하여 적절한지 여부, 및 또한, 객체들의 라디오 주파수 감지 기반 검출(예컨대, 포지셔닝, 모션 검출, 활력 징후 검출 등)을 위한 최상의 커버리지(coverage)를 제공하기 위하여 어떻게 감지 디바이스들을 리포지셔닝(reposition)하고 새로운 감지 디바이스들을 추가할 것인지를 결정하기 위한 간단한 방식을 제공받을 필요가 있을 수 있다. 또한, 검출된 객체들 및 환경에 관하여 충분한 정보가 이용가능하지 않은 사례들이 있을 수 있다. 라벨들을 제공함으로써, 라디오 주파수 감지 시스템은 감지 데이터와 함께 추가적인 정보를 사용자와 연관된 무선 디바이스에 제공할 수 있다.
[0081]
도 4는 액세스 포인트들(410) 및 무선 디바이스들(412)과 같은 복수의 감지 디바이스들을 포함할 수 있는 분산된 감지 시스템(400)의 예를 예시하는 도면이다. 분산된 감지 시스템(400)은 감지 디바이스들에 의해 수신되는 라디오 주파수 신호들에 기초하여 다양한 라디오 주파수 감지 기반 검출들(예컨대, 모션의 존재 또는 모션의 결여를 검출하는 것, 걷기, 추락, 제스처들, 또는 다른 모션과 같은 모션 패턴들을 검출하는 것, 하나 이상의 객체들의 포지션의 검출, 시간 경과에 따른 객체 또는 사람의 모션 추적을 수행하는 것, 사람 또는 동물의 활력 징후들을 검출하는 것, 이들의 임의의 조합, 및/또는 다른 검출들)을 수행할 수 있다. 감지 디바이스에 의해 수신되는 라디오 주파수 감지 신호들은 다른 감지 디바이스들 중 하나 이상으로부터 직접적으로 수신되는 신호들을 포함할 수 있고, 및/또는 환경에서의 하나 이상의 객체들(예컨대, 사람들, 동물들, 가구) 및/또는 구조들(예컨대, 벽들, 천장들, 기둥들 등)에서 반사된 신호들을 포함할 수 있다.
[0082]
무선 디바이스들(412)은 사용자 디바이스들(예컨대, 모바일 디바이스 또는 임의의 다른 유형의 디바이스와 같은, 도 1의 사용자 디바이스(107)), IoT(Internet of Things) 디바이스들, 확장기(extender)들, 복제기(replicator)들, 이들의 임의의 조합, 및/또는 임의의 다른 무선 디바이스를 포함할 수 있다. 액세스 포인트들(410)은 본원에서 설명된 바와 같이, 라디오 주파수 감지 디바이스들, Wi-Fi 감지 가능형 액세스 포인트들, 및 적어도 하나의 트랜시버(또는 별도의 송신기 및 수신기)를 사용하는 무선 디바이스들로서 동작할 수 있다. 액세스 포인트들(410) 및 무선 디바이스들(412)은 분산된 감지 시스템(400)이 위에서 언급된 라디오 주파수 감지 기반 검출 동작들을 수행하기 위해 이용하기 위한 감지 커버리지의 분산된 범위를 제공하기 위하여 환경 전반에 걸쳐 분산될 수 있다. 예를 들어, 도 4에서 도시된 바와 같이, 액세스 포인트들(410)은 주거지(402)의 바닥들 및 단부들 둘 모두 상에 포지셔닝되는 반면, 무선 디바이스들(412)은 제2 층 상에만 포지셔닝된다. 액세스 포인트들(410) 및 무선 디바이스들(412)의 배치 및 포지션은 분산된 감지 시스템(400)의 커버리지를 결정하고, 이 분산된 감지 시스템(400)은 본원에서 설명된 바와 같이 최적의 감지 커버리지를 제공하기 위하여 리포지셔닝될 수 있다.
[0083]
분산된 감지 시스템(400)은 주거지(402) 내에 포지셔닝되는 것으로서 도 4에서 예시되어 있다. 그러나, 본원에서 설명된 시스템들 및 기법들은 실내 및 실외 환경들(예컨대, 상업용 건물, 군사 시설, 실내 또는 실외 쇼핑 설비, 실외 공원, 실외 콘서트 장소 등)을 포함하는 임의의 환경에 대하여 이용될 수 있다. 도 4에서 예시된 바와 같이, 분산된 감지 시스템(400)은 침입자(420)와 같은 객체들을 검출할 수 있다. 일부 구현예들에서, 침입자(420)가 주거지(402)에 진입할 때, 분산된 감지 시스템(400)은 비식별된/비인가된 객체(예컨대, 침입자(420))를 검출할 수 있고, 그 다음으로, 주거지(402) 전반에 걸쳐 침입자(420)의 포지션을 추적하기 시작할 수 있다. 다른 구현예들에서, 분산된 감지 시스템(400)은 검출된 침입자(420)의 존재의 경보를 (예컨대, 경찰 또는 가정 방어 회사와 같은 기관들에게, 주거지와 연관된 사람의 사용자 디바이스 등에) 제공할 수 있다. 감지 디바이스들(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412))로부터 수신되는 데이터에 기초하여, 분산된 감지 시스템(400)은 또한, 객체가 언제 침입자, 애완동물, 인가된 인력 등인지를 결정할 수 있다.
[0084]
일부 구현예들에서, 분산된 감지 시스템(400)은 Wi-Fi 신호들과 같은 라디오 주파수 신호들을 사용함으로써 환경에서의 변경들을 검출하고 특성화할 수 있다. 일반적으로, 라디오 주파수 신호들은 주거지(402)에서 위치된 객체들(예컨대, 벽들, 기둥들, 가구, 동물들 등) 및/또는 사람들에 의해 반사된다. 라디오 주파수 반사들에 관련되는 데이터는 객체들/사람들이 주어진 공간 주위에서 이동할 때의 라디오 주파수 신호들의 진폭 및 위상 변경을 포함한다. 분산된 감지 시스템(400)은 모션(예컨대, 모션의 존재 또는 모션의 결여 또는 비-모션), 모션 패턴들(예컨대, 걷기, 추락, 제스처들, 또는 다른 모션), 모션 위치(예컨대, 포지션), 모션 추적(예컨대, 시간 경과에 따른 객체 또는 사람의 이동), 사람 또는 동물의 활력 징후들(예컨대, 호흡, 심박수 등), 이들의 임의의 조합, 및/또는 다른 정보를 검출하도록 구성될 수 있다. 도 4에서 도시된 바와 같이, 분산된 감지 시스템(400)은 주거지(402)에서의 모션 검출 및 룸-레벨 포지셔닝을 제공할 수 있다.
[0085]
알고리즘들은, 본원에서 설명된 바와 같이, 모션, 모션의 위치, 및 모션의 유형들을 검출하기 위하여 분산된 감지 시스템(400)에 의해 사용될 수 있다. 일부 구현예들에서, 분산된 감지 시스템(400)은 포지션, 모션, 모션의 위치, 또는 모션의 유형과 같은 희망된 특징을 검출하기 위하여 훈련될 수 있는 머신 학습(예컨대, 도 12 및 도 13에서 설명되고 예시되는 것들과 같은 머신 학습 시스템을 이용함) 및 검출 알고리즘들을 사용할 수 있다. 분산된 감지 시스템(400)은, 많은 수의 테스트 데이터를 생성하는 것, 및 실측 자료 라벨(ground truth label)들을 각각의 데이터 포인트에 연관시키는 것을 포함하는 훈련시키기 위한 프로세스를 제공하기 위하여 사용될 수 있다. 라디오 주파수 감지 문맥에서, 데이터는 수집된 라디오 주파수 채널 시그니처(radio frequency channel signature)들에 의해 표현될 수 있고, 라벨들은 각각의 데이터 포인트마다, 모션의 위치 및 모션의 유형을 포함할 수 있다. 라벨링은 실측 자료(예컨대, 컴퓨터 비전 알고리즘들과 함께 카메라 시스템의 이용)를 제공하는 수동적 입력 또는 검출 시스템의 어느 하나를 포함할 수 있다.
[0086]
도 4를 참조하면, 분산된 감지 시스템(400)은 사용자의 무선 디바이스(예컨대, 모바일 디바이스(430))에, 모션 검출 및 모션 위치 정보를 포함하는 하나 이상의 메시지들 또는 경보들(예컨대, 모션 경보(432))을 제공하는 것을 더 포함할 수 있다. 도 4에서, 침입자(420)는 분산된 감지 시스템(400)에 의해 검출되고, 분산된 감지 시스템(400)은 그 다음으로, 모션 경보(432)를 사용자의 모바일 디바이스(430)에 제공할 수 있다. 이러한 경보들은 경보를 나타내는 아이콘(icon)(예컨대, 침입자의 아이콘) 및 모션 경보(432)의 간략한 설명(예컨대, "모션이 전방 홀에서 검출됨")을 포함할 수 있다. 분산된 감지 시스템(400)은 정보(예컨대, 표시들, 명령들, 설명들 등)를 포함하는 감지 커버리지 출력 데이터를 사용자의 무선 디바이스(예컨대, 모바일 디바이스(430))에 추가로 제공할 수 있다. 감지 커버리지 출력 데이터는 주어진 환경에서 가장 최적의 감지 커버리지를 제공하기 위하여 감지 디바이스들(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412))의 배치 및/또는 추가와 연관된 정보를 제공할 수 있다. 예를 들어, 라디오 주파수 감지 기반 검출 동작들을 위하여 이용될 수 있는 감지 데이터를 제공하기 위한 능력을 참작하지 않는 전형적인 네트워크 커버리지(예컨대, 하나 이상의 Wi-Fi 액세스 포인트들에 의해 제공되는 Wi-Fi 커버리지)와 달리, 분산된 감지 시스템(400)은 감지 디바이스들(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412))로부터 감지 데이터(예컨대, RSSI/CSI 데이터)를 수신할 수 있고, 특정한 감지 디바이스가 분산된 감지 시스템(400)의 감지 커버리지를 최적화하는 위치에 있는지 여부를 결정할 수 있다.
[0087]
일부 구현예들에서, 분산된 감지 시스템(400)은 주거지(402) 내에서 검출된 객체들의 특성들(예컨대, 포지션 및 이동)을 결정하기 위하여 RF 신호들을 사용할 수 있다. 예를 들어, RF 신호들은 먼저, 감지 디바이스(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412) 중 하나) 또는 감지 디바이스의 하나의 송신 안테나에 의해 송신될 수 있다. RF 신호들은 그 다음으로, 분산된 감지 시스템(400)의 구성에 따라, 또 다른 감지 디바이스(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412)의 또 다른 것)에서, 또는 감지 디바이스의 수신 안테나에서 수신될 수 있다. 분산된 감지 시스템(400)은 RSSI 데이터, CSI 데이터, 및/또는 감지 디바이스로부터 수신되는 다른 데이터에 기초하여, 주거지(402) 내의 환경이 RF 신호들의 전파에 어떻게 영향을 주는지를 추가로 결정할 수 있다. 분산된 감지 시스템(400)은 또한, 감지 디바이스들에 의해 경험되는 RF 신호들의 전파에 기초하여 검출들 및 간섭들을 결정할 수 있다.
[0088]
분산된 감지 시스템(400)은 많은 상이한 애플리케이션들을 포함할 수 있다. 도 4의 예는 가정 보안 목적들을 위한 것과 같이, 객체들 또는 사람들의 검출을 위하여 분산된 감지 시스템(400)을 이용하는 예를 예시한다. 도시된 바와 같이, 도 4의 분산된 감지 시스템은 분산된 감지 시스템(400)의 센서 네트워크의 일부인, 주거지(402) 내의 다수의 감지 디바이스들(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412))을 포함한다. 감지 디바이스들(예컨대, 액세스 포인트들(410) 및/또는 무선 디바이스들(412))은 침입자(420)의 존재 및/또는 모션과 같은, 객체들의 특성들을 검출하기 위하여 분산된 감지 시스템(400)에 의해 사용될 수 있는 감지 측정들을 제공하도록 구성된다. 예를 들어, 분산된 감지 시스템(400)은 주거지(402) 내의 위치로부터 위치까지의 객체의 이동, 및 속력 및 방향과 같은 객체의 이동의 특정 특성들을 검출할 수 있다. 분산된 감지 시스템(400)은 RSSI 데이터, CSI 데이터, 및/또는 다른 데이터와 같은, 감지 디바이스들로부터의 다량의 감지 데이터를 추가로 수집한다. 머신 학습을 사용함으로써, 분산된 감지 시스템(400)은 감지 디바이스들로부터의 수집된 감지 측정 데이터(예컨대, RSSI/CSI 데이터)에 기초하여 객체 검출들을 분석할 수 있다.
[0089]
도 5a 내지 도 5c는 분산된 감지 시스템을 사용하는 객체 검출의 예들을 예시하는 도면들(510, 520, 530)이다. 도 5a 내지 도 5c는 건물(502)을 가로지르는 모션 검출 및 포지셔닝을 추가로 예시할 수 있다. 예를 들어, 도 5a의 도면(510)에서, 객체(512)(예컨대, 사람)는 본원에서 설명된 바와 같이, 분산된 감지 시스템(예컨대, 도 4의 분산된 감지 시스템(400))에 의해 검출된다. 객체(512)는 건물(502)의 서쪽 부분의 복도(514)에서 검출된다. 도 5b의 도면(520)에서 도시된 바와 같이, 객체(512)가 동쪽 방향으로 이동할 때, 객체(512)는 건물(502)의 룸(524)에 진입한다. 건물(502)의 전반에 걸쳐 분산된 감지 디바이스들을 사용함으로써, 분산된 감지 시스템은 객체(512)가 어디에 위치되는지를 결정할 수 있다. 그 후에, 도 5c의 도면(530)에서 도시된 바와 같이, 객체(512)는 룸(524)으로부터 복도(514)로, 그리고 또 다른 룸(534)으로 이동하였다. 룸(534)에서, 분산된 감지 시스템은 룸(534) 내의 객체(512)의 포지션을 검출할 수 있다. 예를 들어, 도 5c의 도면(530)에서의 객체(512)인 객체(512)는 룸(534)의 남동쪽 코너에 있는 것으로 검출된다.
[0090]
분산된 감지 시스템의 (예컨대, 액세스 포인트들 및/또는 무선 디바이스들과 같은) 감지 디바이스들은 또한, 감지 디바이스들로부터 채널 추정 정보 및 데이터를 수신하고 수집하기 위하여 사용될 수 있다. 일부 예들에서, 분산된 감지 시스템은 검출된 객체들의 대응하는 라벨들을 수신하고 수집하기 위하여 동기화된 카메라들, 전화 애플리케이션들, 또는 다른 디바이스들 또는 애플리케이션들을 포함할 수 있다. 본원에서 논의된 바와 같이, 분산된 감지 시스템은 각각의 대응하는 데이터 포인트에 대한 다량의 감지 데이터 및 연관된 실측 자료 라벨들을 사용할 수 있다. 예를 들어, 라디오 주파수 감지 문맥에서, 감지 데이터는 수집된 라디오 주파수 채널 시그니처들에 의해 표현될 수 있고, 라벨들은 각각의 데이터 포인트마다, 모션의 위치 및 모션의 유형을 포함할 수 있다. 라벨링은 머신 학습 시스템을 훈련시켜서 하나 이상의 라디오 주파수 감지 기반 검출 동작들을 수행하기 위하여(예컨대, 타겟 객체의 포지션 및/또는 모션을 검출하는 등을 위하여) 손실 함수와 함께 이용될 수 있는 실측 자료를 제공하는 수동적 입력 또는 검출 시스템의 어느 하나를 포함할 수 있다. 일부 경우들에 있어서, 카메라 시스템들은 객체 포지션의 자동적 검출 및 맵핑을 포함할 수 있다.
[0091]
일부 구현예들에서, 분산된 감지 시스템에 의해 환경 내의 이벤트를 검출하기 위하여, 반사된 신호가 분산된 감지 시스템의 감지 디바이스의 수신기에 도달할 수 있을 정도로 충분히 강력한 신호가 필요할 수 있다. 도 6에서 예시된 바와 같이, 신호의 강도는 적어도 감지 디바이스의 송신 전력, 감지 디바이스의 안테나 이득들, 및 송신기, 타겟, 및 수신기 사이의 거리에 종속될 수 있다. 예를 들어, 송신 전력이 더 클수록, 반사된 신호가 대응하는 감지 디바이스의 수신기에 도달할 가능성이 더 많다. 송신 전력이 너무 낮은 경우에, 반사된 RF 신호는 감지 디바이스의 수신기에 의해 검출되기에 너무 낮을 수 있다. 유사하게, 안테나 이득들이 너무 낮은 경우에, 수신기는 반사된 RF 신호를 충분히 수신할 수 없다. 거리는 또한, 송신된 신호들 및 반사된 신호들의 품질에 영향을 준다. 예를 들어, 분산된 감지 시스템의 구성에 따라, 2개의 감지 디바이스들(예컨대, 경로손실) 사이, 또는 동일한 감지 디바이스의 송신기와 수신기 사이의 거리가 더 클수록, RF 신호 및 반사된 RF 신호에 대한 신호 강도가 더 낮을 것이다. 경로 손실(예컨대, 도 6의 공간 손실(614, 618)), 또는 경로 감쇠는 신호가 공간을 통해 전파할 때의 전자기파의 전력 밀도에서의 감소이다. 신호의 강도는 또한, 타겟의 유형에 종속될 수 있다. 예를 들어, 타겟이 크기(예컨대, 직경에 있어서 1 인치, 직경에 있어서 3 인치, 직경에 있어서 6 인치 등)에 있어서 작은 경우에, 타겟의 표면적은 작을 수 있고, 이에 따라, 작은 양의 RF 신호들만이 타겟에서 반사할 수 있다. 타겟이 크기에 있어서 큰 경우에, 타겟은 다량의 RF 신호들을 반사하는 큰 표면적을 가질 것이다. 타겟의 반사율(reflectivity)은 레이더 단면적으로서 지칭될 수 있다. 분산된 감지 시스템은 상이한 객체들로부터 반사되는 신호들의 강도를 측정할 수 있다. 신호들, 반사된 신호들, 및 신호들의 강도에 기초하여, 분산된 감지 시스템은 타겟의 위치 및 이동과 같은, 타겟의 양상들을 예측할 수 있다. 그러나, 타겟이 감지 디바이스들로부터 먼 경우에, 분산된 감지 시스템에 의해 수신되는 신호들은 타겟의 위치 또는 타겟의 다른 양상을 검출하기에 너무 약할 수 있다. 타겟이 감지 디바이스들에 더 근접한 경우에, 타겟에 의해 반사되는 신호들은 분산된 감지 시스템이 정확한 검출들을 행하기에 충분한 신호 강도를 가질 수 있다.
[0092]
도 6은 객체를 검출하는 것에 대한 신호 강도(602) 대 공간 내의 신호 포지션(604)의 예시적인 그래프(600)를 예시하는 도면이다. 일부 구현예들에서, 분산된 감지 시스템(예컨대, 도 4의 분산된 감지 시스템(400))은 감지 디바이스에 의해 수신되는 (예컨대, 라디오 주파수 신호들의) 신호 강도의 함수로서 표현될 수 있는 환경 내의 이벤트들을 검출할 수 있다. 라디오 주파수 신호들은 타겟 감지 디바이스에 의해 반사된 라디오 주파수 신호들로서 생성될 수 있다. 일부 구현예들에서, 라디오 주파수 신호들의 신호 강도는, 송신 전력; 안테나 이득들; 감지 디바이스들 및 타겟 위치의 함수로서의, 송신기와 반사기 사이의 경로손실; 감지 디바이스들 및 타겟 위치의 함수로서의, 반사기와 수신기 사이의 경로손실; 타겟의 반사율(예컨대, RCS(radar cross section)); 수신기 사양들; 이들의 임의의 조합; 및/또는 다른 인자들에 기초할 수 있다. 일부 경우들에 있어서, RCS는 타겟 크기 및/또는 형상의 함수로서 결정될 수 있다. 일부 경우들에 있어서, 안테나 이득들은 분산된 감지 시스템에 의해 근사화될 수 있다. 분산된 감지 시스템은 RSSI(received signal strength indicator)들, 경로손실 측정들, 및/또는 다른 인자들에 기초한 것과 같이, 주어진 위치에서 타겟에 의해 야기되는 수신된 감지 신호를 예측할 수 있다.
[0093]
도 6을 참조하면, 그래프(600)는 송신기 전력(PT)(610), 송신 안테나 이득(Gt)(612), 타겟()에 접근하는 공간 손실(614), 타겟 이득 인자()(616), 타겟()으로부터 복귀하는 공간 손실(618), 수신기 안테나 이득(Gr)(620), 및 수신기 전력(Pr)(622)을 예시한다. 분산된 감지 시스템은 ERP(effective radiated power)를 추가로 결정할 수 있다. 예를 들어, 전력이 영역 A(예컨대, 타겟에 접근하는 공간 손실(614)) 또는 영역 B(예컨대, 타겟으로부터 복귀하는 공간 손실(618))에서 측정되는 경우에, 전력은 전력 밀도(mW/cm2) 또는 필드 세기(V/m)의 어느 하나로 기술될 수 있다.
[0094]
도 6의 공간 내의 신호 강도 대 신호 포지션은 다음의 수학식에 의해 정의될 수 있다: .
[0095]
도 7은 레이더 단면적 측정들(700)에 대한 예시적인 블록도를 예시하는 도면이다. 예를 들어, 레이더 단면적 측정들은 송신기 전력(PT)(710), 송신 안테나 이득(Gt)(712), 자유 공간 손실(714), 716)(), 수신기 안테나 이득(Gr)(718), 및 수신기 전력(Pr)(720)(예컨대, )을 포함할 수 있다. 레이더 단면적 측정들(700)은 다음의 수학식들을 추가로 사용할 수 있다: 및 . 는 라디오 주파수 신호의 파장을 지칭한다. Ri는 송신기 또는 수신기로부터 타겟까지의 거리를 지칭한다. 예를 들어, R1은 송신기와 타겟 사이의 거리를 지칭하고, R2는 타겟과 수신기 사이의 거리를 지칭한다. 는 RCS(radar cross section)를 지칭한다. 라디오 주파수 신호들의 전력 및 파장들은 또한, 라디오 주파수 신호들의 품질 및 범위를 최적화하기 위하여 분산된 감지 시스템에 의해 조절될 수 있다.
[0096]
도 8은 본 개시내용의 일부 양상들에 따라, 객체 검출 및 라벨링을 수행하도록 구성될 수 있는 분산된 감지 시스템(800)의 예를 예시하는 도면이다. 일부 양상들에서, 분산된 감지 시스템(800)은 컴퓨팅 디바이스(810), 카메라들(814) 및 모바일 디바이스들(816)과 같은 라벨링 디바이스들, 및 다양한 감지 디바이스들(812 및 818)(일부 경우들에 있어서, 라벨들을 제공할 수 있음)을 포함할 수 있다. 감지 디바이스들(812 및 818)은 송신기들 및/또는 수신기들(예컨대, 트랜시버들)을 포함할 수 있고, 액세스 포인트들, 무선 디바이스들(예컨대, 모바일 전화들 등), 및/또는 다른 디바이스들을 포함할 수 있다. 분산된 감지 시스템(800)은 개시된 기술의 범위로부터 이탈하지 않으면서, 객체 검출/감지 동작들을 수행하기 위하여 다양한 수의 다른 컴퓨팅 디바이스들, 라벨링 디바이스들, 및/또는 감지 디바이스들을 사용할 수 있다는 것이 이해된다.
[0097]
일부 양상들에서, 컴퓨팅 디바이스(810)는 본원에서 설명된 바와 같이 머신 학습 모델들을 훈련시키고 객체 검출 알고리즘들을 실행하기 위한 CPU(central processing unit) 및/또는 GPU(graphics processing unit)를 포함할 수 있다. 일부 양상들에서, 분산된 감지 시스템(800)의 컴퓨팅 디바이스(810)는 감지 디바이스들(812, 818) 및/또는 라벨링 디바이스들(예컨대, 카메라(814), 모바일 디바이스(816) 등) 중 하나 이상과 같은 무선 디바이스 내로 추가로 통합될 수 있다. 이와 같이, 컴퓨팅 디바이스(810)에 의해 수행되는 프로세싱 기능들은 개별 디바이스의 하드웨어를 사용하여 수행될 수 있거나, 분산된 방식으로, 예컨대, 다수의 이질적인 디바이스들의 하드웨어 자원들 및/또는 기능성을 사용함으로써 수행될 수 있다.
[0098]
일부 구현예들에서, 분산된 감지 시스템(800)은 (예컨대, 감지 디바이스들(812, 818)로부터의) 수신된 RF 신호들과 (예컨대, 카메라(814), 모바일 디바이스(816) 등과 같은 라벨링 디바이스들로부터, 및/또는 감지 디바이스들(812, 818)로부터의) 수신된 훈련 라벨들 사이의 동기화(예컨대, 네트워크 시간 프로토콜과 같은 시간 동기화)를 보장할 수 있는 동기화 서비스를 포함할 수 있다. 분산된 감지 시스템(800)은 무선(예컨대, Wi-Fi, 블루투스(Bluetooth) 등) 또는 유선(예컨대, 이더넷(Ethernet)) 통신 채널들을 통해 감지 디바이스들(812, 818) 및 라벨링 디바이스들을 가로질러서 정보를 교환하는 통신 서비스들을 더 포함할 수 있다. 분산된 감지 시스템(800), 및 분산된 감지 시스템(800)의 감지 디바이스들(812, 818) 및 라벨링 디바이스들(예컨대, 카메라(814), 모바일 디바이스(816) 등)은 (예컨대, 감지 디바이스들(812, 818)로부터의) 수신된 RF 신호들, 및 본원에서 설명된 바와 같은 머신-학습 모델을 사용함으로써 연관된 객체의 위치 또는 액션을 표시할 수 있는 추론 라벨(inference label)과 같은 (예컨대, 라벨링 디바이스들로부터 및/또는 감지 디바이스들(812, 818)로부터의) 라벨들에 기초하여 결과들을 디스플레이하기 위한 그래픽 사용자 인터페이스를 포함할 수 있다.
[0099]
일부 양상들에서, 분산된 감지 시스템(800)의 감지 디바이스들(812, 818)은 감지 디바이스들(812, 818)의 근처에서 다양한 객체들의 특성들을 식별하기 위하여 분산된 감지 시스템(800)에 의해 사용될 수 있는 RF 신호들 및 파형들을 송신하고 수신하도록 구성될 수 있다. 검출가능한 객체들은, 벽들, 바닥들, 차량들, 또는 가구 등과 같은 무생물 객체들, 및/또는 사람들(예컨대, 사람들(802)), 및/또는 애완동물들 등과 같은 생물 객체들을 포함하지만 이것으로 제한되지는 않는, RF 신호들 또는 파형들을 반사할 수 있는 임의의 물리적 본체를 포함할 수 있다. 일부 예들에서, 감지 시스템(800)은 객체 위치, 배향, 또는 자세와 같은 객체 위치 및/또는 포지션 특성들을 결정하도록 구성될 수 있다. 일부 예들에서, 감지 시스템(800)은 모션 프로파일들 또는 이동 특성들과 같은, 객체와 연관된 액션들을 결정하도록 구성될 수 있다.
[0100]
감지 동작들을 수행하기 위하여, 분산된 감지 시스템(800)은 (예컨대, 라벨링 디바이스들 및/또는 감지 디바이스들(812, 818)로부터의) 본원에서 설명된 바와 같은 수신된 라디오 주파수 데이터 및 라벨 데이터를 이용하여 감지 모델을 생성하고 및/또는 훈련시키도록 구성될 수 있다. 추가적으로, 분산된 감지 시스템(800)은 라디오 주파수 데이터 및 라벨 데이터에 기초하여, 사람(802)과 같은 감지된 객체들의 포지션 및/또는 모션 특성들에 관한 추론들을 생성하기 위하여 감지 모델을 사용하도록 구성될 수 있다.
[0101]
일부 양상들에서, 감지 모델의 훈련 및 생성은 분산된 감지 시스템(800)에 의해 검출되고 및/또는 수신되는 데이터의 조합을 이용하여 수행될 수 있다. 예를 들어, 분산된 감지 시스템(800)은 감지 모델, 예컨대, 하나 이상의 다양한 객체들로부터 반사되는 RF 신호들에 기초하여 RF 데이터가 제시될 때에 라벨링 추론들을 생성하도록 구성되는 머신-학습 모델을 생성하고 및/또는 훈련시키도록 구성될 수 있다. 일부 양상들에서, 감지 모델의 훈련 및/또는 생성은 하나 이상의 무선 디바이스들(예컨대, 감지 디바이스들(812, 818))로부터 수신되는 RF 데이터, 및 예를 들어, 감지 디바이스들(812, 818) 및/또는 라벨링 디바이스들의 근처의 하나 이상의 객체들에 대한 (예컨대, 포지션, 위치, 또는 모션 등의) 설명들을 포함하는, 라벨링 디바이스들(예컨대 카메라(814), 모바일 디바이스(816) 등)로부터 및/또는 감지 디바이스들(812, 818)로부터 수신되는 대응하는 훈련 라벨 데이터에 기초할 수 있다.
[0102]
예로서, 감지 디바이스의 송신기(812)는 주어진 근처 내에서의 RF 신호들/파형들을 송신할 수 있고, 이 RF 신호들/파형들은 그 다음으로, 동일한 근처에서의 사람(802)과 같은 하나 이상의 생물 또는 무생물 객체들에서 반사될 수 있다. 반사된 파형들은 그 다음으로, 감지 디바이스의 수신기(818)에 의해 수신될 수 있고, 감지 디바이스의 수신기(818)는 라디오 주파수 데이터(예컨대, RSSI/CSI 데이터)를 분산된 감지 시스템(800)의 컴퓨팅 디바이스(810)로 통신할 수 있다. 라디오 주파수 데이터(예컨대, 파형 측정 데이터)는 반사된 객체들의 다양한 특성들과 대응할 수 있다. 예를 들어, 파형 측정 데이터는 사람(802)의 위치, 사람(802)의 크기, 및/또는 감지 디바이스(812), 감지 디바이스(818), 및/또는 다른 디바이스들로부터의 사람(802)의 거리에 기초할 수 있다.
[0103]
동시에, 훈련 라벨 데이터는 분산된 감지 시스템(800)의 다양한 유선 및/또는 무선 디바이스들로부터 컴퓨팅 디바이스(810)로 제공될 수 있다. 예를 들어, 훈련 라벨 데이터는 라벨링 디바이스들(예컨대, 카메라, 비디오, 포지션, 가속도계 등) 및/또는 감지 디바이스들(812, 818)에 의해 수집되는 데이터 뿐만 아니라, 모바일 디바이스와 같은 무선 디바이스를 통해, 사용자 제공되는 데이터, 예컨대, (선택된 텍스트와 같은) 텍스트 스트링들, 오디오 등을 포함할 수 있다. 일부 구현예들에서, 라벨 데이터는 위치 표시와 같은 위치 데이터를 포함할 수 있다. 위치 표시는 환경(예컨대, 룸)의 영역의 측면에서, 또는 관심 있는 환경에 대하여 정의된 기준 시스템에 대한 좌표들의 측면에서 특정될 수 있다. 이러한 라벨링 데이터는 검출되어야 할 타겟의 포지션에 대한 "실측 자료"를 나타낼 수 있다. 예를 들어, 검출의 타겟은 환경 내에 사람을 위치시키는 것을 포함할 수 있다. 연관된 라벨들은 사람의 실측 자료 포지션을 나타낼 수 있다. 이러한 예에서, 사람은 라벨들을 생성하도록 구성될 수 있는 디바이스를 휴대할 수 있어서, 디바이스에 의해 측정되거나 디바이스를 통해 사람에 의해 입력되는 포지션은 사람의 포지션을 나타낸다.
[0104]
일부 구현예들에서, 라벨링 디바이스들(예컨대, 카메라(814), 모바일 디바이스(816) 등) 및/또는 감지 디바이스들(812, 818)은 수신된 RF 데이터(예컨대, 채널 조건 정보로서 표현됨)와 연관될 수 있는 라벨들(예컨대, 훈련 라벨 데이터)을 생성할 수 있다. 예로서, 카메라들(814), 및 모바일 디바이스(816)와 같은 입력 디바이스들은 분산된 감지 시스템(800)에 훈련 라벨 데이터를 제공할 수 있다. 일부 양상들에서, 사용자는 사용자의 특성과 연관된 라벨들을 생성하기 위하여 이용될 수 있는 모바일 디바이스를 휴대할 수 있다. 모바일 디바이스(816)는, 모바일 디바이스(816) 및 그에 따라 사용자의 포지션을 결정하기 위한 센서들(예컨대, GPS 유닛들)을 포함할 수 있다. 예를 들어, 모바일 디바이스(816) 및 액세스 포인트들은 건물 내에서의 모바일 디바이스(816)의 위치를 결정하기 위하여 Wi-Fi RTT(round trip time)(예컨대, 포지셔닝 목적들을 위한 거리 측정들)를 사용할 수 있다. 일부 양상들에서, 라벨링 디바이스들(예컨대, 카메라(814), 모바일 디바이스(816) 등)은 분산된 감지 시스템(800)의 감지 디바이스들(812, 818)과 동기화될 수 있어서, 라벨링 디바이스들에 의해 제공되는 훈련 라벨들은 수집된 RF 신호 데이터와 동기화될 수 있다. 훈련 라벨들 및 RF 신호 데이터는 그 다음으로, 분산된 감지 시스템(800)에 의해 훈련 목적들을 위하여 사용될 수 있다.
[0105]
일부 예들에서, 모바일 디바이스(816)와 같은 라벨링 디바이스들 및/또는 감지 디바이스들(812, 818)은 예를 들어, 사용자에 의해 입력으로서 제공되는 훈련 라벨 데이터를 수신할 수 있다. 이러한 예들에서, 훈련 라벨 데이터는 텍스트 입력들(예컨대, 온-스크린 키보드와 같은 디바이스 키보드를 통해 제공됨), 및/또는 예를 들어, 모바일 디바이스(816)의 마이크로폰에 의해 검출되는 발화된 단어(spoken word)들로서 제공되는 오디오-입력들을 포함할 수 있다. 일부 양상들에서, 텍스트 입력들은, 모션이 발생하고 있는지 여부, 어느 액션이 수행되고 있는지(예컨대, 달리기 또는 점프), 및/또는 모션이 발생하고 있는 위치와 같은 객체 위치, 객체 유형, 모션 정보를 설명하거나 표시하는 하나 이상의 텍스트 스트링들을 포함할 수 있다. 일부 양상들에서, 제공된 텍스트 스트링 데이터를 포함하는 훈련 라벨 데이터는, 사람(802)의 아이덴티티(identity)에 대한 정보를 제공하는 것에 의한 것과 같이, 하나 이상의 사람들 또는 생물 객체들을 식별하는 정보를 포함할 수 있다. 추가의 예로서, 개인을 식별하는 정보는 지문(fingerprint)들, 얼굴 패턴들, 음성 인식 데이터 등과 같은 생체계측(biometric) 데이터 또는 다른 생체계측(biometric) 식별자들을 포함할 수 있다. 예로서, 생체계측 데이터(biometric data)는 예를 들어, 시스템들, 디바이스들, 또는 데이터에 대한 액세스를 승인하기 위하여 필요한 아이덴티티 유효성 검사 프로세스를 용이하게 할 시에 이용될 수 있는 물리적 또는 거동 특성들을 포함할 수 있다.
[0106]
일부 양상들에서, 분산된 감지 시스템(800)은, 예를 들어, 객체 유형, 객체 크기, 객체 위치, 및/또는 객체(예컨대, 사람(802))와 연관된 거동 특성들(모션)과 같은 다양한 객체 특성들을 식별하는 것을 돕는 정보를 포함하는 훈련 라벨 데이터를 생성하기 위하여, 카메라(814)와 같은 하나 이상의 카메라들을 사용할 수 있다. 일부 양상들에서, 분산된 감지 시스템(800)의 카메라들(814)(예컨대, 사전-설치되거나 전개됨)은 관심 있는 이벤트들(예컨대, 객체 모션, 인접성, 및 위치)을 식별하기 위하여 사용될 수 있다. 예로서, 이미지 프로세싱 기법들을 이용하여, 카메라들(814)에 의해 레코딩되는 이미지들 및/또는 비디오 피드(video feed)들은 훈련 라벨 데이터로서 제공될 수 있는 이벤트들 또는 거동들을 식별하기 위한 이미지 데이터를 파싱하기 위하여 이용될 수 있다.
[0107]
일부 양상들에서, 다양한 라벨링 디바이스들 및/또는 감지 디바이스들(812, 818)은 라벨링 데이터를 생성하고 및/또는 편집하기 위하여 함께 동작될 수 있다. 예를 들어, 사람(802)이 건물의 평면도 주위의 상이한 위치들(예컨대, 룸들) 사이에서 물리적으로 이동할 때에 검출된 객체의 포지션을 결정하는 것과 같이, 사람(802)이 관심 있는 이벤트들에 대한 훈련 라벨들을 입력하거나 편집하는 것을 가능하게 하기 위하여, 카메라들(814)은 모바일 디바이스(816)와 같은 하나 이상의 다른 라벨링 디바이스들과 함께 동작될 수 있다.
[0108]
일부 양상들에서, 분산된 감지 시스템(800) 내의 하나 이상의 디바이스들은 분산된 감지 시스템(800)의 검출된 객체들, 컴퓨팅 디바이스(810), 감지 디바이스들(812, 818), 카메라(814), 및/또는 모바일 디바이스들(816)의 더 정확한 위치들을 결정하기 위하여 GPS 및 Wi-Fi 포지셔닝 디바이스들(예시되지 않음)과 같은 포지셔닝 시스템들을 사용할 수 있다.
[0109]
일부 양상들에서, 분산된 감지 시스템(800)은 수신된 훈련 라벨 데이터 및/또는 라디오 주파수 데이터에 기초하여 감지 모델을 훈련시키고 및/또는 업데이트하도록 구성될 수 있다. 감지 모델의 훈련 및 생성은 분산된 감지 시스템(800)에 의해 검출되고 및/또는 수신되는 데이터의 조합들을 이용하여 수행될 수 있다. 예를 들어, 분산된 감지 시스템(800)은 하나 이상의 다양한 객체들로부터 반사되는 RF 신호들에 기초하여 RF 데이터가 제시될 때에 라벨링 추론들을 생성하도록 구성되는 머신-학습 모델과 같은 감지 모델을 생성하고 및/또는 훈련시키도록 구성될 수 있다. 예로서, 훈련 라벨 데이터는 RF 데이터를 입력으로서 수신하고 RF 데이터에 기초한 하나 이상의 라벨들을 출력으로서 제공하도록 구성된 머신-학습 모델을 이용하여 감독된-학습(supervised-learning)을 수행하기 위하여 이용될 수 있다.
[0110]
일부 양상들에서, 감지 모델의 훈련 및/또는 생성은 하나 이상의 무선 디바이스들(예컨대, 감지 디바이스들(812, 818))로부터 수신되는 RF 데이터, 및 라벨링 디바이스들(예컨대, 카메라(814), 모바일 디바이스(816), 또는 다른 라벨링 디바이스) 및/또는 감지 디바이스들(예컨대, 감지 디바이스들(812, 818))로부터 수신되는 대응하는 훈련 라벨 데이터에 기초할 수 있다. 훈련 라벨 데이터는 무선 디바이스들(812, 814, 816, 818)의 근처의 하나 이상의 객체들에 대한 (예컨대, 포지션, 위치, 또는 모션 등의) 설명들을 포함할 수 있다. 일부 예들에서, 분산된 감지 시스템(800)은 (예컨대, 머신 학습, 감지 모델의) 훈련 프로세스가 충분한지 여부, 또는 더 많은 훈련 라벨들이 환경 내의 어떤 위치들로부터 수집될 필요가 있는지 여부에 대한 표시들을 제공할 수 있다. 예로서, 훈련 충분성 또는 완전성의 표시들은 예를 들어, 온-스크린 디스플레이, 가청 통지(audible notification) 등을 통해, 모바일 디바이스(816)와 연관된 사용자에게 제공될 수 있다.
[0111]
일부 예들에서, 분산된 감지 시스템(800)은 예를 들어, 감지 디바이스(812, 818) 배치를 용이하게 하기 위한 전개 절차들을 포함할 수 있다. 예로서, 감지 시스템(800)은 객체 감지가 수행되어야 하는 환경 내의 감지 디바이스들(812, 818)의 배치에 관한 추천들을 행하도록 동작될 수 있다.
[0112]
일단 훈련되면, 감지 모델은 예를 들어, 다양한 객체 특성들, 예컨대, 객체 유형, 객체 크기, 위치, 기점(또는 자세), 및/또는 객체 모션 프로파일을 나타내는 신규한 또는 추후의 RF 데이터 입력들에 대한 라벨링 추론들을 제공하도록 구성될 수 있다. 일부 접근법들에서, 감지 모델은 이하에서 제공되는 바와 같은 도 11 및 도 12에 대하여 설명되는 컨볼루션 신경망(convolutional neural network)과 같은 심층-학습 네트워크일 수 있다(또는 이를 포함할 수 있음).
[0113]
도 9는 분산된 감지 시스템(900)에 의해 수행될 수 있는 라벨링 절차의 예를 예시하는 도면이다. 일부 양상들에서, 분산된 감지 시스템(900)은 프로세서(910)(예컨대, 분산된 감지 시스템(900)의 디바이스들(912, 920, 922)의 시간을 동기화할 수 있는 NTP(network time protocol) 서버), 저장 디바이스(912), 감지 디바이스들(920)(예컨대, 액세스 포인트들 및 무선 디바이스들), 및 라벨링 디바이스들(922)(예컨대, 모바일 디바이스들 및 카메라들)을 포함할 수 있다. 일부 양상들에서, 라벨링 디바이스들(922)은 표현 상태 전송(representational state transfer)("REST") API(application programming interface)에 의해 프로세서(910)와 통신할 수 있다.
[0114]
일부 구현예들에서, 분산된 감지 시스템(900)은 라벨들(예컨대, 도 8의 카메라(814) 및/또는 모바일 디바이스(816)와 같은 라벨링 디바이스들 및/또는 감지 디바이스들(812, 818)로부터 수신되는 훈련 라벨들)을 저장 디바이스(912) 내에 저장하고, 및/또는 머신 학습 모델 훈련을 위하여 라벨들을 실시간으로 프로세서(910)에 제공하도록 구성될 수 있다. 일부 양상들에서, 라벨링 디바이스들(922)로부터 수신되는 훈련 라벨들은 라벨링 디바이스들(922) 및 RF 감지 디바이스들(920)(예컨대, 도 8의 감지 디바이스들(812, 818))에 의해 사용되는 공통 타이머에 따라 타임스탬핑될 수 있다. 프로세서(910)는 일부 경우들에 있어서, 감지 디바이스들(920) 및 라벨링 디바이스들(922)의 시간을 동기화하기 위하여 사용될 수 있는, 분산된 감지 시스템(900)의 서버(예컨대, NTP(network time protocol) 서버 또는 다른 유형의 서버)의 일부일 수 있다. 예를 들어, 서버(예컨대, 프로세스(910)를 이용함)는 감지 디바이스들(920)의 RF 감지 신호들 및 감지 측정들을, 라벨링 디바이스들(922)에 의해 캡처되는 훈련 라벨들과 시간 동기화할 수 있다. 훈련 라벨들 및 감지 신호들 및/또는 측정들은 머신 학습 모델을 훈련시켜서 라디오 주파수 감지 검출 동작들(예컨대, 모션 또는 모션 없음을 검출하는 것, 모션 패턴들을 검출하는 것, 객체들 또는 사람들의 포지션들을 검출하는 것, 모션 추적, 사람들 또는 동물의 활력 징후들을 검출하는 것, 및/또는 다른 동작들)을 수행하기 위하여 이용될 수 있다.
[0115]
일부 예들에서, 분산된 감지 시스템(900)의 초기 셋업 동작의 전개 후에, 그리고 분산된 감지 시스템(900)의 정상적인 동작 동안에, 분산된 감지 시스템(900)은 검출된 객체와 연관된 특성들을 포함하거나 설명하는 데이터(예컨대, 하나 이상의 추론 라벨들)를 출력할 수 있다. 예를 들어, 분산된 감지 시스템(900)의 추론 라벨 출력들은 검출된 객체의 포지션/위치 및/또는 액션들을 설명하는 하나 이상의 텍스트 스트링들, 가청 통지들, 그래픽들, 및/또는 픽처들을 포함할 수 있다.
[0116]
도 10은 개시된 기술의 일부 양상들에 따라, 분산된 감지 시스템(1000)에 의해 수행되는 예시적인 라벨링 동작을 예시하는 도면이다. 일부 양상들에서, 분산된 감지 시스템(1000)은 모바일 디바이스(1020), 타이밍 서버(1030), 저장 디바이스(1035), 및 감지 디바이스들(1050, 1060)을 포함할 수 있다. 희망된 구현예에 따라, 타이밍 서버(1030) 및 저장 디바이스(1035)에 의해 수행되는 기능들은 별도의 디바이스들 상에서 수행될 수 있다. 대안적으로, 타이밍 서버(1030) 및 저장 디바이스(1035)에 의해 수행되는 기능들 중 하나 이상은 서버(1040)와 같은 공통 디바이스 상에서 수행될 수 있다.
[0117]
본원에서 설명된 바와 같이, NTP 서버 또는 타이머(예컨대, 타이밍 서버(1030))는 하나 이상의 라벨링 디바이스들(예컨대, 모바일 디바이스(1020)) 및 하나 이상의 감지 디바이스들(1050, 1060)과 같은 다양한 디바이스들을 동기화하기 위하여 분산된 감지 시스템(1000)에 의해 사용될 수 있다. 일부 접근법들에서, 시간 동기화는 수신된 RF 데이터를 훈련 라벨 데이터와 상관시키기 위하여, 예를 들어, 위에서 논의된 바와 같이, 감지 모델, 예컨대, 머신-학습 모델의 훈련 및/또는 업데이팅을 용이하게 하기 위하여 사용될 수 있다.
[0118]
일부 구현예들에서, 분산된 감지 시스템(1000)의 감지 디바이스들(1050, 1060)은 RF 신호들 및 파형들을 송신할 수 있고, 객체 검출을 수행하기 위하여 필요한 반사된 RF 신호들 및 파형들(예컨대, 참조 신호들(1072))을 수신할 수 있다. 하나 이상의 객체들(예시되지 않음)로부터 반사되는 RF 신호들 및/또는 파형들에 기초할 수 있는 결과적인 RF 데이터는 그 다음으로, 예컨대, 저장 디바이스(1035)에 RF 데이터로서 제공될 수 있다. 일부 예들에서, 분산된 감지 시스템(1000)의 감지 디바이스들(1050, 1060)은 RF 주파수 데이터를 채널 상태 정보(CSI 데이터(1074))로서 저장 디바이스(1035)로 송신할 수 있다. 일부 양상들에서, 감지 디바이스들(1050, 1060)에 의해 측정되는 RF 감지 데이터(CSI 데이터(1074))는 송신 파형에 대응하는 반사된 경로들(예컨대, 반사된 파형/감지 신호)에 관련되는 데이터와 함께, 송신 파형(예컨대, 감지 신호)의 직접 경로들(예컨대, 누설 신호)에 관련되는 정보를 포함할 수 있다.
[0119]
도 10의 예에서 예시된 바와 같이, 저장 디바이스(1035)는 또한, 저장 디바이스(1035)에 의해 수신되는 RF 데이터(예컨대, CSI(1074))와 대응하는 훈련 라벨들(예컨대, 라벨들(1078))을 수신하도록 구성될 수 있다. 희망된 구현예에 따라, CSI 데이터(1074) 및/또는 라벨들(1078)은 동시에, 예를 들어, 실시간으로 또는 실시간에 근접하여 수신될 수 있다. 일부 양상들에서, CSI 데이터(1074) 및/또는 라벨들(1078)은 각각 감지 디바이스들(1050, 1060) 또는 모바일 디바이스(1020) 중 하나 이상과 같은 연관된 디바이스 상에서 불확정한 시간 주기 동안에 로컬 방식으로 저장될 수 있다. 일부 양상들에서, 타이밍 서버(1030)에 의해 제공되는 시간-동기 기능은 라벨들(1078)이 그 대응하는 CSI 데이터와 올바르게 상관된다는 것을 보장하기 위하여 이용될 수 있다. 예로서, NTP(Network Time Protocol) 시간-동기 기능(예컨대, NTP 동기(1070))은 모바일 디바이스(1020)와 감지 디바이스들(1050, 1060) 사이의 시간 동기화(time sync)를 보장하기 위하여 이용될 수 있다.
[0120]
본원에서 설명된 바와 같이, 라벨들(1078)은 모바일 디바이스(1020)와 같은 하나 이상의 라벨링 디바이스들, 및/또는 감지 디바이스들에 의해 수신되고 및/또는 캡처되는 다양한 데이터에 기초하여 할 수 있다. 예로서, 라벨들(1078)은 수동적 라벨들(1076)로서 제공되는 텍스트-기반 입력들, 및/또는 가청 입력들과 같은, 사용자(1010)에 의해 제공되는 하나 이상의 데이터 입력들에 기초할 수 있다. 도 8에 대하여 위에서 논의된 바와 같이, 수동적 라벨들(1076)은 객체 크기, 위치, 배향, 및/또는 모션, 또는 이들의 조합을 표시하는 정보와 같은, 객체 특성들에 관한 정보를 제공하기 위하여 이용될 수 있다. 일부 양상들에서, 라벨들(1078)은 모바일 디바이스(1020)와 같은 라벨링 디바이스에 의해, 및/또는 감지 디바이스에 의해 자동적으로 캡처되는 데이터를 포함할 수 있다. 예로서, 라벨들(1078)은 모바일 디바이스(1020)와 연관된 위치 및/또는 배향 정보를 포함할 수 있다.
[0121]
추가의 예로서, 라벨들(1076)은 검출된 객체의 픽처들, 또는 상황적 문맥, 예컨대, "주방에 진입함"을 설명하는 텍스트 입력들과 같은, 다양한 다른 유형들의 수동적으로 입력되거나 수동적으로 캡처된 정보를 포함할 수 있다. 이러한 예들에서, 수동적 라벨들(1076)은 사용자(1010)와 연관되는 무선 디바이스(예컨대, 모바일 디바이스(1020))에 의해 입력될 수 있거나 캡처될 수 있고, 그 다음으로, 분산된 감지 시스템(1000)의 저장 디바이스(1035)에 제공될 수 있다.
[0122]
일부 예들에서, 분산된 감지 시스템(1000)은, 객체 검출 및 라벨링을 수행하기 위하여 라벨링 서비스들을 제공하도록 구성되는 하나 이상의 카메라들 및/또는 카메라 시스템들과 같은 다양한 다른 라벨링 디바이스들을 포함할 수 있다. 예를 들어, 분산된 감지 시스템(1000)은 가정 또는 회사 건물과 같은 환경 내의 관심 있는 위치의 이미지들(예컨대, 픽처들 또는 비디오)을 캡처하도록 구성될 수 있는 하나 이상의 정적 카메라들(예시되지 않음)을 포함할 수 있다. 분산된 감지 시스템(1000)의 정적 카메라 시스템은 그 다음으로, 관심 있는 객체들, 사람들, 및/또는 활동들(예컨대, 객체들에 의한 이동)을 검출하고, 본원에서 설명된 바와 같은 감지 모델의 훈련 및/또는 생성에서 이용되어야 할 검출된 관심 있는 객체들 및 활동들에 대한 대응하는 훈련 라벨들을 생성하기 위하여, (예컨대, 도 6 및 도 7에서 예시된 것들과 같은) 본원에서 설명된 알고리즘들을 사용할 수 있다. 일부 양상들에서, 정적 카메라 시스템은 생성된 라벨들을 타임스탬핑할 수 있고, 본원에서 설명된 바와 같은 객체 검출 및 라벨링을 수행하기 위하여 라벨들을 분산된 감지 시스템(1000)에 제공할 수 있다.
[0123]
일부 구현예들에서, 분산된 감지 시스템(1000)은 모바일 디바이스(1020)의 포지션을 결정하여 본원에서 설명된 바와 같은 객체 검출 및 라벨링을 수행하기 위하여, 시각적 캡처들(예컨대, 픽처들 및 비디오를 캡처하는 것), 관성 주행거리계측(inertial odometry), 및/또는 SLAM(simultaneous location and mapping)을 수행하기 위한 모바일 디바이스(1020)의 카메라를 사용할 수 있다. 모바일 디바이스(1020)의 결정된 포지션은 또한, 분산된 감지 시스템(1000)에 의해 객체 검출 및 라벨링을 수행하기 위하여 라벨로서 사용될 수 있다. 분산된 감지 시스템(1000)은, 로봇들, HMD(head-mounted display)들, 모바일 핸드셋들, 및 자율 차량들과 같은, 카메라들을 갖는 디바이스들에서 이용되는 연산 기하구조 기법인 VSLAM(visual simultaneous localization and mapping)을 추가로 사용할 수 있다. VSLAM에서, 디바이스는 디바이스의 카메라에 의해 캡처되는 이미지들에 기초하여 알려지지 않은 환경의 맵(map)을 구성할 수 있고 업데이팅할 수 있다. 디바이스가 맵을 업데이팅할 때, 디바이스는 환경 내의 디바이스의 자세(예컨대, 위치 및/또는 배향)를 추적할 수 있다. 예를 들어, 디바이스는 건물의 특정한 룸에서 활성화될 수 있고, 건물의 내부의 전반에 걸쳐 이동할 수 있어서, 이미지들을 캡처할 수 있다. 디바이스는 환경을 맵핑할 수 있고, 환경 내의 상이한 객체들이 상이한 이미지들에서 나타나는 추적에 기초하여 환경 내의 그 위치를 추적할 수 있다.
[0124]
일부 예들에서, 분산된 감지 시스템(1000)은 라벨링 디바이스들(1020)(및/또는 감지 디바이스들(1050, 1060))로부터 수신되는 수집된 훈련 라벨들 및 감지 디바이스들(1050, 1060)로부터 수신되는 RF 감지 측정 데이터를 동시에 동기화할 수 있다. 예를 들어, 훈련 라벨들(예컨대, 라벨링 디바이스들(1020)에 의해 수신됨)은 분산된 감지 시스템(1000)의 프로세서(예컨대, 도 8의 컴퓨팅 디바이스(810) 및 도 9의 프로세서(910))에 의해 실시간으로 수신될 수 있다.
[0125]
일부 양상들에서, 캡처된 훈련 라벨들은, 라벨링 디바이스(1020)(및/또는 감지 디바이스들(1050, 1060)) 및 분산된 감지 시스템(1000)이 본원에서 설명된 바와 같은 객체 검출 및 라벨링을 수행하기 위하여 RF 감지 측정된 데이터를 대응하는 훈련 라벨과 상관시키는 것을 허용하는 대응하는 타임 스탬프들(예컨대, Wi-Fi TSF(Timing Synchronization Function) 타이머에 의해 제공되는 타임 스탬프들)과 함께, 라벨링 디바이스(1020) 및/또는 감지 디바이스들(1050, 1060)의 저장 디바이스 내에 저장될 수 있다. 일부 예들에서, 분산된 감지 시스템(1000)의 NTP 동기(1070)는 본원에서 설명된 바와 같은 객체 검출 및 라벨링을 수행하기 위하여 라벨링 디바이스들(1020)로부터의 캡처된 훈련 라벨들을 감지 디바이스들(1050, 1060)에 의해 캡처되고 결정되는 RF 감지 신호들 및 측정들과 동기화하기 위하여 추가로 사용될 수 있다.
[0126]
일부 예들에서, 분산된 감지 시스템(1000)은 예를 들어, 훈련 라벨 데이터(예컨대, 수동적 라벨들(1076) 및 라벨들(1078)), 및 저장 디바이스(1035)에 의해 CSI(channel state information) 데이터(1074)로서 수신되는 데이터와 같은 RF 데이터를 이용하여 훈련 절차(1080)를 수행하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 훈련 절차들(1080)은, 하나 이상의 무선 디바이스들(예컨대, 감지 디바이스들(1050, 1060))로부터 수신되는 RF 데이터, 및 사용자(1010)와 연관된 모바일 디바이스(1020)와 같은 라벨링 디바이스로부터 수신되는 대응하는 훈련 라벨 데이터에 기초하는 (머신-학습 모델과 같은) 감지 모델의 훈련 및/또는 생성을 포함할 수 있다.
[0127]
예로서, 분산된 감지 시스템(1000)의 전개 훈련 국면 동안에, 사용자(1010)는 객체 검출 및 라벨링을 수행하기 위하여, 무선 디바이스(예컨대, 감지 측정 디바이스 또는 라벨링 디바이스) 또는 모바일 디바이스(1020)를 사용할 수 있고, 다양한 룸들을 가로질러 걸을 수 있고, 전체 평면을 맵핑하고 라벨링할 수 있다. 일부 양상들에서, 사용자(1010)와 연관된 무선 디바이스는 본원에서 설명된 바와 같은 객체 검출 및 라벨링을 수행하기 위하여, RF 감지 신호들을 송신하고 수신하고, RF 감지 신호들(예컨대, RSSI/CSI 데이터)에 기초하여 RF 감지 측정들을 결정하고, RF 감지 측정들 및 훈련 라벨들을 분산된 감지 시스템(1000)에 제공하도록 구성될 수 있다.
[0128]
훈련 절차(1080)의 결과로서, 분산된 감지 시스템은, 예를 들어, RF 데이터 입력들을 (예컨대, CSI(1074)로서) 수신하고, 위치, 크기, 또는 모션 등과 같은 대응하는 객체 특성들에 대한 추론들(1082)을 행하도록 구성되는 (훈련된) 감지 모델을 생성할 수 있다. 추론된 특성들은 예를 들어, 사용자(1010)에게 관심이 있을 수 있는 특정한 객체 특징들(1084) 또는 다른 핵심적인 정보를 식별하는 객체 라벨들로서 표현될 수 있다.
[0129]
일부 예들에서, 분산된 감지 시스템(1000)은 객체 검출 및 라벨링을 수행하기 위하여 검출된 객체들의 Wi-Fi 포지셔닝의 자동화된 라벨링을 제공하도록 구성될 수 있다. 예를 들어, 사용자(1010) 또는 모바일 디바이스(1020)와 연관된 무선 디바이스는 RF 감지 신호들을 송신하고 수신하도록 구성될 수 있다. 다른 양상들에서, RF 감지 신호들은 상이한 RF 분산된 감지 시스템으로부터 분산된 감지 시스템(1000)에 의해 수신될 수 있고, 학습 알고리즘(예컨대, 802.11/WFA "Wi-Fi 위치" 및 블루투스)을 위한 자동적 라벨들을 생성하기 위하여 사용될 수 있다. 일부 양상들에서, 분산된 감지 시스템(1000)에 의해 사용되는 RF 감지 신호들은 검출된 객체의 포지션 데이터를 포함할 수 있는 GPS 데이터를 포함할 수 있다.
[0130]
일부 구현예들에서, 분산된 감지 시스템(1000)은 본원에서 설명된 바와 같은 감지 모델의 훈련 및/또는 생성에 기초하여 대표 라벨(예컨대, 추론 라벨)을 출력하도록 구성될 수 있다. 예를 들어, 대표 라벨은 객체 검출 및 라벨링을 수행하기 위하여, 하나 이상의 무선 디바이스들(예컨대, 감지 디바이스들)로부터 수신되는 RF 데이터 및 라벨링 디바이스들(및/또는 감지 디바이스들)로부터 수신되는 대응하는 훈련 라벨 데이터에 기초할 수 있다. 일부 양상들에서, 검출된 객체의 모션, 위치, 또는 액션에 대응하는 픽처 또는 비디오는 사용자(1010)와 연관된 무선 디바이스에 제공될 수 있고, 이러한 픽처 또는 비디오는 대표 라벨들을 사용자(1010)에게 제시하기 위하여 무선 디바이스 상에서 디스플레이(1086)될 수 있다. 하나의 예에서, 대표 라벨이 주방에서 발생한 검출된 모션을 포함하는 경우에, 분산된 감지 시스템(1000)은, 사용자(1010)가 주방에 있었고 라벨링 디바이스(예컨대, 사용자(1010)와 연관된 무선 디바이스의 모바일 디바이스(1020))로 픽처를 초기에 캡처하였을 때, 분산된 감지 시스템(1000)의 전개 훈련 프로세스 동안에 촬영되었던 주방의 픽처를 출력할 수 있다. 일부 양상들에서, 분산된 감지 시스템(1000)은 텍스트 라벨의 대응하는 위치와 연관된 텍스트 라벨, 및 사운드 라벨(sound label)의 대응하는 위치와 연관된 사운드 라벨을 추가로 출력할 수 있다.
[0131]
일부 예들에서, 분산된 감지 시스템(1000)에 의해 위치를 추론하는 것은 RF 감지 신호(예컨대, Wi-Fi 감지 신호)에 대해 액션 분류자(action classifier)를 작동시키는 것, 및 객체 검출 및 라벨링을 수행하기 위하여 검출된 액션에 기초하여 검출된 객체(예컨대, 사람)의 대응하는 위치를 결정하는 것을 포함할 수 있다. 예를 들어, 액션 분류자는 사전훈련될 수 있고 액션들의 데이터세트와 연관될 수 있다(예컨대, "타이핑(typing)" 모션은 위치를 사무실인 것으로서 식별할 수 있고, "요리(cooking)" 모션은 위치를 주방인 것으로서 식별할 수 있음). 그 장점은, 라벨들의 사전-설정된 리스트를 정의하고 대응하는 설명들을 각각의 라벨에 제공하기 위한 필요성이 없으므로, 분산된 감지 시스템(1000)의 전개 훈련 프로세스 동안의 수동적 사용자 입력이 최소화된다는 것이다.
[0132]
도 11은 위에서 설명된 분산된 감지 시스템을 구현하기 위하여 이용될 수 있는 심층 학습 신경망(1100)의 예시적인 예이다. 입력 계층(1120)은 입력 데이터를 포함한다. 하나의 예시적인 예에서, 입력 계층(1120)은 입력 비디오 프레임의 픽셀들을 나타내는 데이터를 포함할 수 있다. 신경망(1100)은 다수의 은닉 계층(hidden layer)들(1122a, 1122b 내지 1122n)을 포함한다. 은닉 계층들(1122a, 1122b 내지 1122n)은 "n" 개의 은닉 계층들을 포함하고, 여기서, "n"은 1 이상인 정수이다. 은닉 계층들의 수는 주어진 애플리케이션에 대하여 필요한 만큼 많은 계층들을 포함하도록 될 수 있다. 신경망(1100)은 은닉 계층들(1122a, 1122b 내지 1122n)에 의해 수행되는 프로세싱으로부터 기인하는 출력을 제공하는 출력 계층(1121)을 더 포함한다. 하나의 예시적인 예에서, 출력 계층(1121)은 입력 비디오 프레임 내의 객체에 대한 분류를 제공할 수 있다. 분류는 활동의 유형(예컨대, 축구 플레이, 피아노 연주, 피아노 청취, 기타 연주 등)을 식별하는 클래스(class)를 포함할 수 있다.
[0133]
신경망(1100)은 상호접속된 노드들의 멀티-계층 신경망이다. 각각의 노드는 정보의 피스(piece)를 나타낼 수 있다. 노드들과 연관된 정보는 상이한 계층들 사이에서 공유되고, 각각의 계층은 정보가 프로세싱될 때에 정보를 유지한다. 일부 경우들에 있어서, 신경망(1100)은 피드-포워드 네트워크(feed-forward network)를 포함할 수 있고, 이 경우에, 네트워크의 출력들이 자신에게 피드백되는 피드백 접속들이 없다. 일부 경우들에 있어서, 신경망(1100)은, 입력 시에 판독하면서 정보가 노드들을 가로질러서 운반되는 것을 허용하는 루프들을 가질 수 있는 순환 신경망(recurrent neural network)을 포함할 수 있다.
[0134]
정보는 다양한 계층들 사이의 노드-대-노드(node-to-node) 상호접속들을 통해 노드들 사이에서 교환될 수 있다. 입력 계층(1120)의 노드들은 제1 은닉 계층(1122a) 내의 노드들의 세트를 활성화할 수 있다. 예를 들어, 도시된 바와 같이, 입력 계층(1120)의 입력 노드들의 각각은 제1 은닉 계층(1122a)의 노드들의 각각에 접속된다. 제1 은닉 계층(1122a)의 노드들은 활성화 함수들을 입력 노드 정보에 적용함으로써 각각의 입력 노드의 정보를 변환할 수 있다. 변환으로부터 도출되는 정보는 그 다음으로, 전달될 수 있고, 다음 은닉 계층(1122b)의 노드들을 활성화할 수 있고, 이 노드들은 그 자신의 지정된 함수들을 수행할 수 있다. 예시적인 함수들은 컨볼루션(convolutional), 업-샘플링(up-sampling), 데이터 변환(data transformation), 및/또는 임의의 다른 적당한 함수들을 포함한다. 은닉 계층(1122b)의 출력은 그 다음으로, 다음 은닉 계층의 노드들을 활성화할 수 있는 등과 같다. 마지막 은닉 계층(1122n)의 출력은 출력 계층(1121)의 하나 이상의 노드들을 활성화할 수 있고, 이러한 노드들에서, 출력이 제공된다. 일부 경우들에 있어서, 신경망(1100) 내의 노드들(예컨대, 노드(1126))은 다수의 출력 라인들을 갖는 것으로서 도시되지만, 노드는 단일 출력을 가지고, 노드로부터 출력되는 것으로서 도시된 모든 라인들은 동일한 출력 값을 나타낸다.
[0135]
일부 경우들에 있어서, 각각의 노드 또는 노드들 사이의 상호접속은 신경망(1100)의 훈련으로부터 도출되는 파라미터들의 세트인 가중치(weight)를 가질 수 있다. 일단 신경망(1100)이 훈련되면, 그것은 훈련된 신경망으로서 지칭될 수 있고, 이 훈련된 신경망은 하나 이상의 활동들을 분류하기 위하여 이용될 수 있다. 예를 들어, 노드들 사이의 상호접속은 상호접속된 노드들에 대하여 학습되는 정보의 피스를 나타낼 수 있다. 상호접속은 (예컨대, 훈련 데이터세트에 기초하여) 튜닝될 수 있는 튜닝가능한 수치 가중치(tunable numeric weight)를 가질 수 있어서, 신경망(1100)이 입력들에 대해 적응적으로 되고 점점 더 많은 데이터가 프로세싱될 때에 학습할 수 있는 것을 허용할 수 있다.
[0136]
신경망(1100)은 출력 계층(1121)을 통해 출력을 제공하기 위하여, 상이한 은닉 계층들(1122a, 1122b 내지 1122n)을 이용하여 입력 계층(1120) 내의 데이터로부터의 특징들을 프로세싱하도록 사전-훈련된다. 신경망(1100)이 프레임들 내의 운전자에 의해 수행되고 있는 활동들을 식별하기 위하여 이용되는 예에서, 신경망(1100)은 위에서 설명된 바와 같이, 프레임들 및 라벨들의 둘 모두를 포함하는 훈련 데이터를 이용하여 훈련될 수 있다. 예를 들어, 훈련 프레임들은 네트워크 내로 입력될 수 있고, 각각의 훈련 프레임은 (특징 추출 머신 학습 시스템을 위한) 프레임들 내의 특징들을 표시하는 라벨, 또는 각각의 프레임 내의 활동의 클래스들을 표시하는 라벨을 가질 수 있다. 예시적인 목적들을 위하여 객체 분류를 이용하는 하나의 예에서, 훈련 프레임은 수 2의 이미지를 포함할 수 있고, 이 경우에, 이미지에 대한 라벨은 [0 0 1 0 0 0 0 0 0 0]일 수 있다.
[0137]
일부 경우들에 있어서, 신경망(1100)은 역전파로서 칭해진 훈련 프로세스를 이용하여 노드들의 가중치들을 조절할 수 있다. 위에서 언급된 바와 같이, 역전파 프로세스는 순방향 패스, 손실 함수, 역방향 패스, 및 가중치 업데이트를 포함할 수 있다. 순방향 패스, 손실 함수, 역방향 패스, 및 파라미터 업데이트는 하나의 훈련 반복에 대하여 수행된다. 프로세스는 신경망(1100)이 계층들의 가중치들이 정확하게 튜닝될 정도로 충분히 양호하게 훈련될 때까지, 훈련 이미지들의 각각의 세트에 대한 어떤 수의 반복들에 대하여 반복될 수 있다.
[0138]
프레임들 내의 객체들을 분류하는 예에 대하여, 순방향 패스는 신경망(1100)을 통해 훈련 프레임을 전달하는 것을 포함할 수 있다. 가중치들은 신경망(1100)이 훈련되기 전에 초기에 무작위화(randomize)된다. 예시적인 예로서, 프레임은 이미지의 픽셀들을 나타내는 숫자(number)들의 어레이를 포함할 수 있다. 어레이 내의 각각의 숫자는 어레이 내의 그 포지션에서의 픽셀 세기를 설명하는 0으로부터 255까지의 값을 포함할 수 있다. 하나의 예에서, 어레이는 픽셀들의 28개의 행(row)들 및 28개의 열(column)들 및 3개의 컬러 컴포넌트들(예컨대, 적색, 녹색, 및 청색, 또는 루마(luma) 및 2개의 크로마(chroma) 컴포넌트들 등)을 갖는 숫자들의 28 x 28 x 3 어레이를 포함할 수 있다.
[0139]
위에서 언급된 바와 같이, 신경망(1100)의 제1 훈련 반복에 대하여, 출력은 가중치들이 초기화 시에 무작위적으로 선택되는 것으로 인해 임의의 특정한 클래스에 대한 선호도를 부여하지 않는 값들을 포함할 가능성이 있을 것이다. 예를 들어, 출력이 객체가 상이한 클래스들을 포함하는 확률들을 갖는 벡터인 경우에, 상이한 클래스들 각각에 대한 확률 값은 동일할 수 있거나 적어도 매우 유사할 수 있다(예컨대, 10개의 가능한 클래스들에 대하여, 각각의 클래스는 0.1의 확률 값을 가질 수 있음). 초기 가중치들로, 신경망(1100)은 낮은 레벨의 특징들을 결정할 수 없고, 이에 따라, 객체의 분류가 무엇일 수 있는지에 대한 정확한 결정을 행할 수 없다. 손실 함수는 출력에서의 오차를 분석하기 위하여 이용될 수 있다. 교차-엔트로피 손실(Cross-Entropy loss)과 같은 임의의 적당한 손실 함수 정의가 이용될 수 있다. 손실 함수의 또 다른 예는 으로서 정의된 MSE(mean squared error)를 포함한다. 손실은 의 값과 동일한 것으로 설정될 수 있다.
[0140]
손실(또는 오차)은 제1 훈련 이미지들에 대하여 높을 것인데, 그 이유는 실제적인 값들이 예측된 출력과는 많이 상이할 것이기 때문이다. 훈련의 목표는 예측된 출력이 훈련 라벨과 동일하도록 손실의 양을 최소화하는 것이다. 신경망(1100)은 어느 입력들(가중치들)이 네트워크의 손실에 가장 기여하였는지를 결정함으로써 역방향 패스를 수행할 수 있고, 손실이 감소하고 궁극적으로 최소화되도록 가중치들을 조절할 수 있다. 가중치들에 대한 손실의 미분(dL/dW로서 나타내어지고, 여기서, W는 특정한 계층에서의 가중치들임)은 네트워크의 손실에 가장 기여한 가중치들을 결정하기 위하여 컴퓨팅될 수 있다. 미분이 컴퓨팅된 후에, 가중치 업데이트는 필터들의 모든 가중치들을 업데이팅함으로써 수행될 수 있다. 예를 들어, 가중치들은 이들이 경도(gradient)의 반대 방향으로 변경되도록 업데이팅될 수 있다. 가중치 업데이트는 로서 나타내어질 수 있고, 여기서, w는 가중치를 나타내고, wi는 초기 가중치를 나타내고, 은 학습 레이트를 나타낸다. 학습 레이트는 임의의 적당한 값으로 설정될 수 있고, 높은 학습 레이트는 더 큰 가중치 업데이트들을 포함하고, 더 낮은 값은 더 작은 가중치 업데이트들을 표시한다.
[0141]
신경망(1100)은 임의의 적당한 심층망(deep network)을 포함할 수 있다. 하나의 예는, 입력 및 출력 계층들 사이의 다수의 은닉 계층들과 함께, 입력 계층 및 출력 계층을 포함하는 CNN(convolutional neural network)을 포함한다. CNN의 은닉 계층들은 일련의 컨볼루션, 비선형, (다운샘플링을 위한) 풀링(pooling), 및 완전 접속 계층(fully connected layer)들을 포함한다. 신경망(1100)은 그 중에서도, 오토인코더(autoencoder), DBN(deep belief net)들, RNN(Recurrent Neural Network)들과 같은, CNN 이외의 임의의 다른 심층망을 포함할 수 있다.
[0142]
도 12는 CNN(convolutional neural network)(1200)의 예시적인 예이다. CNN(1200)의 입력 계층(1220)은 이미지 또는 프레임을 나타내는 데이터를 포함한다. 예를 들어, 데이터는 이미지의 픽셀들을 나타내는 숫자(number)들의 어레이를 포함할 수 있고, 어레이 내의 각각의 숫자는 어레이 내의 그 포지션에서의 픽셀 세기를 설명하는 0으로부터 255까지의 값을 포함할 수 있다. 위로부터의 이전의 예를 이용하면, 어레이는 픽셀들의 28개의 행들 및 28개의 열들 및 3개의 컬러 컴포넌트들(예컨대, 적색, 녹색, 및 청색, 또는 루마 및 2개의 크로마 컴포넌트들 등)을 갖는 숫자들의 28 x 28 x 3 어레이를 포함할 수 있다. 이미지는 출력 계층(1224)에서의 출력을 얻기 위하여, 컨볼루션 은닉 계층(1222a), 임의적인 비-선형 활성화 계층, 풀링 은닉 계층(1222b), 및 완전 접속 은닉 계층들(1222c)을 통해 전달될 수 있다. 각각의 은닉 계층의 오직 하나가 도 12에서 도시되지만, 통상의 기술자는 다수의 컨볼루션 은닉 계층들, 비-선형 계층들, 풀링 은닉 계층들, 및/또는 완전 접속 계층들이 CNN(1200) 내에 포함될 수 있다는 것을 인식할 것이다. 이전에 설명된 바와 같이, 출력은 객체의 단일 클래스를 표시할 수 있거나, 이미지 내의 객체를 최상으로 설명하는 클래스들의 확률을 포함할 수 있다.
[0143]
CNN(1200)의 제1 계층은 컨볼루션 은닉 계층(1222a)이다. 컨볼루션 은닉 계층(1222a)은 입력 계층(1220)의 이미지 데이터를 분석한다. 컨볼루션 은닉 계층(1222a)의 각각의 노드는 수용 필드(receptive field)로 칭해진 입력 이미지의 노드들(픽셀들)의 영역에 접속된다. 컨볼루션 은닉 계층(1222a)은 하나 이상의 필터들(각각의 필터는 상이한 활성화 또는 특징 맵에 대응함)로서 간주될 수 있고, 필터의 각각의 컨볼루션 반복은 컨볼루션 은닉 계층(1222a)의 노드 또는 뉴런(neuron)일 수 있다. 예를 들어, 필터가 각각의 컨볼루션 반복에서 커버하는 입력 이미지의 영역은 필터에 대한 수용 필드일 것이다. 하나의 예시적인 예에서, 입력 이미지가 28x28 어레이를 포함하고, 각각의 필터(및 대응하는 수용 필드)가 5x5 어레이인 경우에, 컨볼루션 은닉 계층(1222a) 내에 24x24 노드들이 있을 것이다. 노드와 그 노드에 대한 수용 필드 사이의 각각의 접속은 가중치, 및 일부 경우들에 있어서, 전체적인 바이어스(bias)를 학습하여, 각각의 노드는 입력 이미지 내의 그 특정한 로컬 수용 필드를 분석하도록 학습한다. 은닉 계층(1222a)의 각각의 노드는 동일한 가중치들 및 바이어스(공유된 가중치 및 공유된 바이어스로 칭해짐)를 가질 것이다. 예를 들어, 필터는 가중치들(숫자들)의 어레이 및 입력과 동일한 심도(depth)를 갖는다. 필터는 (입력 이미지의 3개의 컬러 컴포넌트들에 따라) 비디오 프레임 예에 대한 3의 심도를 가질 것이다. 필터 어레이의 예시적인 예의 크기는 노드의 수용 필드의 크기에 대응하는 5 x 5 x 3이다.
[0144]
컨볼루션 은닉 계층(1222a)의 컨볼루션 본질은 컨볼루션 계층의 각각의 노드가 그 대응하는 수용 필드에 적용되는 것에 기인한다. 예를 들어, 컨볼루션 은닉 계층(1222a)의 필터는 입력 이미지 어레이의 상부-좌측 코너에서 시작할 수 있고, 입력 이미지 주위에서 컨볼루션할 수 있다. 위에서 언급된 바와 같이, 필터의 각각의 컨볼루션 반복은 컨볼루션 은닉 계층(1222a)의 노드 또는 뉴런으로 간주될 수 있다. 각각의 컨볼루션 반복에서, 필터의 값들은 이미지의 원래의 픽셀 값들의 대응하는 수와 승산된다(예컨대, 5x5 필터 어레이는 입력 이미지 어레이의 상부-좌측 코너에서의 입력 픽셀 값들의 5x5 어레이에 의해 승산됨). 각각의 컨볼루션 반복으로부터의 승산(multiplication)들은 그 반복 또는 노드에 대한 총 합을 획득하기 위하여 함께 합산될 수 있다. 프로세스는 컨볼루션 은닉 계층(1222a) 내의 다음 노드의 수용 필드에 따라 입력 이미지 내의 다음 위치에서 다음으로 계속된다. 예를 들어, 필터는 스텝 양(스트라이드(stride)로서 지칭됨)만큼 다음 수용 필드로 이동될 수 있다. 스트라이드는 1 또는 다른 적당한 양으로 설정될 수 있다. 예를 들어, 스트라이드가 1로 설정되는 경우에, 필터는 각각의 컨볼루션 반복에서 우측으로 1 픽셀만큼 이동될 것이다. 입력 용량(input volume)의 각각의 고유한 위치에서 필터를 프로세싱하는 것은, 그 위치에 대한 필터 결과들을 나타내는 수를 생성하여, 총 합 값이 컨볼루션 은닉 계층(1222a)의 각각의 노드에 대하여 결정되는 것으로 귀착된다.
[0145]
입력 계층으로부터 컨볼루션 은닉 계층(1222a)으로의 맵핑은 활성화 맵(또는 특징 맵)으로서 지칭된다. 활성화 맵은 입력 용량의 각각의 위치들에서의 필터 결과들을 나타내는 각각의 노드에 대한 값을 포함한다. 활성화 맵은 입력 용량에 대한 필터의 각각의 반복으로부터 기인하는 다양한 총 합 값들을 포함하는 어레이를 포함할 수 있다. 예를 들어, 5 x 5 필터가 28 x 28 입력 이미지의 각각의 픽셀(1의 스트라이드)에 적용되는 경우에, 활성화 맵은 24 x 24 어레이를 포함할 것이다. 컨볼루션 은닉 계층(1222a)은 이미지 내의 다수의 특징들을 식별하기 위하여 몇몇 활성화 맵들을 포함할 수 있다. 도 12에서 도시된 예는 3개의 활성화 맵들을 포함한다. 3개의 활성화 맵들을 이용하면, 컨볼루션 은닉 계층(1222a)은 3개의 상이한 종류들의 특징들을 검출할 수 있고, 각각의 특징은 전체 이미지를 가로질러서 검출가능할 수 있다.
[0146]
일부 예들에서, 비-선형 은닉 계층은 컨볼루션 은닉 계층(1222a) 후에 적용될 수 있다. 비-선형 계층은 선형 동작들을 컴퓨팅하고 있던 시스템에 비-선형성을 도입하기 위하여 이용될 수 있다. 비-선형 계층의 하나의 예시적인 예는 ReLU(rectified linear unit) 계층이다. ReLU 계층은 함수 f(x) = max(0, x)를 입력 용량 내의 값들의 전부에 적용할 수 있고, 이것은 모든 네거티브 활성화들을 0으로 변경한다. ReLU는 이에 따라, 컨볼루션 은닉 계층(1222a)의 수용 필드들에 영향을 주지 않으면서, CNN(1200)의 비-선형 성질들을 증가시킬 수 있다.
[0147]
풀링 은닉 계층(1222b)은 컨볼루션 은닉 계층(1222a) 후에(그리고 이용될 때에 비-선형 은닉 계층 후에) 적용될 수 있다. 풀링 은닉 계층(1222b)은 컨볼루션 은닉 계층(1222a)으로부터의 출력 내의 정보를 단순화하기 위하여 이용된다. 예를 들어, 풀링 은닉 계층(1222b)은 컨볼루션 은닉 계층(1222a)으로부터의 각각의 활성화 맵 출력을 취할 수 있고, 풀링 함수를 이용하여 응축된 활성화 맵(또는 특징 맵)을 생성한다. 최대-풀링(max-pooling)은 풀링 은닉 계층에 의해 수행되는 함수의 하나의 예이다. 평균 풀링(average pooling), L2-놈 풀링(L2-norm pooling), 또는 다른 적당한 풀링 함수들과 같은 다른 형태들의 풀링 함수들이 풀링 은닉 계층(1222a)에 의해 이용될 수 있다. 풀링 함수(예컨대, 최대-풀링 필터, L2-놈 필터, 또는 다른 적당한 풀링 필터)는 컨볼루션 은닉 계층(1222a) 내의 포함된 각각의 활성화 맵에 적용된다. 도 12에서 도시된 예에서는, 3개의 풀링 필터들이 컨볼루션 은닉 계층(1222a) 내의 3개의 활성화 맵들에 대하여 이용된다.
[0148]
일부 예들에서, 최대-풀링은 스트라이드(예컨대, 2의 스트라이드와 같은, 필터의 차원과 동일함)를 갖는 최대-풀링 필터(예컨대, 2x2의 크기를 가짐)를 컨볼루션 은닉 계층(1222a)으로부터의 활성화 맵 출력에 적용함으로써 이용될 수 있다. 최대-풀링 필터로부터의 출력은 필터가 컨볼루션하는 매 서브-영역 내의 최대 수를 포함한다. 2x2 필터를 예로서 이용하면, 풀링 계층 내의 각각의 유닛은 이전의 계층 내의 2x2 노드들의 영역을 요약할 수 있다(각각의 노드는 활성화 맵 내의 값임). 예를 들어, 활성화 맵 내의 4개의 값들(노드들)은 필터의 각각의 반복에서 2x2 최대-풀링 필터에 의해 분석될 것이고, 4개의 값들로부터의 최대 값은 "최대" 값으로서의 출력일 것이다. 이러한 최대-풀링 필터가 24x24 노드들의 차원을 갖는 컨볼루션 은닉 계층(1222a)으로부터의 활성화 필터에 적용되는 경우에, 풀링 은닉 계층(1222b)으로부터의 출력은 12x12 노드들의 어레이일 것이다.
[0149]
일부 예들에서는, L2-놈 풀링 필터가 또한 이용될 수 있다. L2-놈 풀링 필터는 (최대-풀링에서 행해지는 바와 같이 최대 값들을 컴퓨팅하는 대신에) 활성화 맵의 2x2 영역(또는 다른 적당한 영역) 내의 값들의 제곱들의 합의 제곱근(square root)을 컴퓨팅하는 것, 및 컴퓨팅된 값들을 출력으로서 이용하는 것을 포함한다.
[0150]
직관적으로, 풀링 함수(예컨대, 최대-풀링, L2-놈 풀링, 또는 다른 풀링 함수)는 주어진 특징이 이미지의 영역 내의 어딘가에서 발견되는지 여부를 결정하고, 정확한 포지션 정보를 폐기한다. 이것은 특징 검출의 결과들에 영향을 주지 않으면서 행해질 수 있는데, 그 이유는 특징이 일단 구해졌으면, 특징의 정확한 위치가 다른 특징들에 대한 그 근사적인 위치만큼 중요하지 않기 때문이다. 최대-풀링(뿐만 아니라 다른 풀링 방법들)은 많은 더 적은 풀링된 특징들이 있다는 장점을 제공하고, 이에 따라, CNN(1200)의 더 이후의 계층들에서 필요한 파라미터들의 수를 감소시킨다.
[0151]
네트워크 내의 접속들의 최종적인 계층은, 풀링 은닉 계층(1222b)으로부터의 매 노드를 출력 계층(1224) 내의 출력 노드들 중의 매 노드에 접속하는 완전-접속 계층이다. 위의 예를 이용하면, 입력 계층은 입력 이미지의 픽셀 세기들을 인코딩하는 28 x 28 노드들을 포함하고, 컨볼루션 은닉 계층(1222a)은 3개의 활성화 맵들로의 (필터들에 대한) 5x5 로컬 수용 필드의 적용에 기초한 3x24x24 은닉 특징 노드(hidden feature node)들을 포함하고, 풀링 은닉 계층(1222b)은 3개의 특징 맵들 각각을 가로질러서 2x2 영역들로의 최대-풀링 필터의 적용에 기초한 3x12x12 은닉 특징 노드들의 계층을 포함한다. 이 예를 확장하면, 출력 계층(1224)은 10개의 출력 노드들을 포함할 수 있다. 이러한 예에서, 3x12x12 풀링 은닉 계층(1222b)의 매 노드는 출력 계층(1224)의 매 노드에 접속된다.
[0152]
완전 접속 계층(1222c)은 (하이-레벨(high-level) 특징들의 활성화 맵들을 나타내어야 하는) 이전의 풀링 은닉 계층(1222b)의 출력을 획득할 수 있고, 특정한 클래스에 가장 많이 상관되는 특징들을 결정한다. 예를 들어, 완전 접속 계층(1222c) 계층은 특정한 클래스에 가장 강력하게 상관되는 하이-레벨 특징들을 결정하고 있고, 하이-레벨 특징들에 대한 가중치들(노드들)을 포함할 수 있다. 곱셈(product)은 상이한 클래스들에 대한 확률들을 획득하기 위하여 완전 접속 계층(1222c) 및 풀링 은닉 계층(1222b)의 가중치들 사이에서 컴퓨팅될 수 있다. 예를 들어, CNN(1200)이 비디오 프레임 내의 객체가 사람인 것을 예측하기 위하여 이용되고 있는 경우에, 높은 값들이 사람들의 하이-레벨 특징들을 나타내는 활성화 맵들에서 존재할 것이다(예컨대, 2개의 다리들이 존재하고, 얼굴이 객체의 상부에서 존재하고, 2개의 눈들이 얼굴의 상부 좌측 및 상부 우측에서 존재하고, 코가 얼굴의 중간에 존재하고, 입이 얼굴의 하부에 존재하고, 및/또는 사람에 대하여 공통적인 다른 특징들).
[0153]
일부 예들에서, 출력 계층(1224)으로부터의 출력은 M-차원 벡터(이전의 예에서, M=10)를 포함할 수 있다. M은 CNN(1200)이 이미지 내의 객체를 분류할 때에 선택해야 하는 클래스들의 수를 표시한다. 다른 예시적인 출력들이 또한 제공될 수 있다. M-차원 벡터 내의 각각의 수는 객체가 어떤 클래스에 대한 것이라는 확률을 나타낼 수 있다. 하나의 예시적인 예에서, 10-차원 출력 벡터가 객체들의 10개의 상이한 클래스들이 [0 0 0.05 0.8 0 0.15 0 0 0 0]인 것을 나타내는 경우에, 벡터는 이미지가 객체의 제3 클래스(예컨대, 개)일 5% 확률, 이미지가 객체의 제4 클래스(예컨대, 인간)일 80% 확률, 이미지가 객체의 제6 클래스(예컨대, 캥거루(kangaroo))일 15% 확률이 있다는 것을 표시한다. 클래스에 대한 확률은 객체가 그 클래스의 일부라는 신뢰 수준으로 간주될 수 있다.
[0154]
도 13은 본 개시내용의 일부 예들에 따라, 하나 이상의 감지 모델들을 훈련시키기 위한 프로세스(1300)의 예시적인 흐름도를 예시한다. 동작(1302)에서, 프로세스(1300)는 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하는 것을 포함할 수 있다. 라디오 주파수 데이터는, 제1 객체에 의해 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초한다.
[0155]
동작(1304)에서, 프로세스(1300)는 (예컨대, 라벨링 디바이스로부터 및/또는 적어도 하나의 무선 디바이스로부터) 훈련 라벨 데이터를 획득하는 것(예컨대, 수신하는 것)을 포함할 수 있다. 훈련 라벨 데이터는 제1 객체 및 입력 데이터(예컨대, 라벨링 디바이스에 의해 및/또는 적어도 하나의 무선 디바이스에 의해 수신됨)에 적어도 부분적으로 기초한다. 일부 양상들에서, 훈련 라벨 데이터는 제1 객체와 연관된 액션, 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 표시하는 정보를 포함할 수 있다. 일부 경우들에 있어서, 입력 데이터(예컨대, 라벨링 디바이스에 의해 및/또는 적어도 하나의 무선 디바이스에 의해 수신됨)는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함할 수 있다. 일부 경우들에 있어서, 입력 데이터는 (예컨대, 라벨링 디바이스와 연관되고, 및/또는 적어도 하나의 무선 디바이스에 의한) 사용자에 대한 생체계측 데이터, 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 적어도 하나를 포함할 수 있다. 일부 예들에서, 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지될 수 있다. 하나의 예시적인 예에서, 시간 동기화는 NTP(Network Time Protocol)를 이용하여 유지될 수 있다.
[0156]
위에서 언급된 바와 같이, 훈련 라벨 데이터는 라벨링 디바이스로부터 및/또는 적어도 하나의 무선 디바이스로부터 수신될 수 있다. 일부 구현예들에서, 라벨링 디바이스 및/또는 적어도 하나의 무선 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함할 수 있다. 일부 구현예들에서, 라벨링 디바이스 및/또는 적어도 하나의 무선 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함할 수 있다.
[0157]
동작(1306)에서, 프로세스(1300)는 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 (예컨대, 훈련에 의해) 생성하는 것을 포함할 수 있다. 일부 양상들에서, 감지 모델은 머신-학습 모델을 포함할 수 있다. 머신-학습 모델은 CNN(Convolutional Neural Network)일 수 있다.
[0158]
일부 구현예들에서, 프로세스(1300)는 제2 객체와 연관된 라디오 주파수 데이터를 수신하는 것, 라디오 주파수 데이터를 감지 모델에 제공하는 것, 및 감지 모델로부터, 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하는 것을 더 포함할 수 있다. 일부 양상들에서, 하나 이상의 추론 라벨들은, 제2 객체와 연관된 위치, 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함할 수 있다.
[0159]
일부 예들에서, 본원에서 설명된 프로세스들(예컨대, 프로세스(1300) 및/또는 본원에서 설명된 다른 프로세스)은 컴퓨팅 디바이스 또는 장치에 의해 수행될 수 있다. 하나의 예에서, 프로세스(1300)는 도 14에서 도시된 컴퓨팅 디바이스 또는 컴퓨팅 시스템(1400)에 의해 수행될 수 있다.
[0160]
컴퓨팅 디바이스는 모바일 디바이스(예컨대, 모바일 전화), 데스크톱 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 웨어러블 디바이스(예컨대, VR 헤드셋, AR 헤드셋, AR 안경, 네트워크-접속된 시계 또는 스마트워치, 또는 다른 웨어러블 디바이스), 서버 컴퓨터, 자율 차량 또는 자율 차량의 컴퓨팅 디바이스, 로봇 디바이스, 텔레비전, 및/또는 프로세스(1300)를 포함하는 본원에서 설명된 프로세스들을 수행하기 위한 자원 능력들을 갖는 임의의 다른 컴퓨팅 디바이스와 같은 임의의 적당한 UE 또는 디바이스를 포함할 수 있다. 일부 경우들에 있어서, 컴퓨팅 디바이스 또는 장치는 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 하나 이상의 카메라들, 하나 이상의 센서들, 및/또는 본원에서 설명된 프로세스들의 단계들을 수행하도록 구성되는 다른 컴포넌트(들)와 같은 다양한 컴포넌트들을 포함할 수 있다. 일부 예들에서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신하고 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 포함할 수 있다. 네트워크 인터페이스는 IP(Internet Protocol) 기반 데이터 또는 다른 유형의 데이터를 통신하고 및/또는 수신하도록 구성될 수 있다.
[0161]
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은, 하나 이상의 프로그래밍가능 전자 회로들(예컨대, 마이크로프로세서들, GPU(graphics processing unit)들, DSP(digital signal processor)들, CPU(central processing unit)들, VPU(Vision Processing Unit)들, NSP(Network Signal Processor)들, MCU(microcontroller)들, 및/또는 다른 적당한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고 및/또는 이를 이용하여 구현될 수 있고, 및/또는 본원에서 설명된 다양한 동작들을 수행하기 위하여, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고 및/또는 이를 이용하여 구현될 수 있다.
[0162]
프로세스(1300)는 논리적 흐름도들로서 예시되고, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스를 나타낸다. 컴퓨터 명령들의 문맥에서, 동작들은, 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행하는, 하나 이상의 컴퓨터-판독가능 저장 매체들 상에 저장된 컴퓨터-실행가능 명령들을 나타낸다. 일반적으로, 컴퓨터-실행가능 명령들은 특정한 기능들을 수행하거나 특정한 데이터 유형들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되도록 의도된 것이 아니고, 임의의 수의 설명된 동작들은 프로세스들을 구현하기 위하여 임의의 순서로 및/또는 병렬로 조합될 수 있다.
[0163]
추가적으로, 프로세스(1300) 및/또는 본원에서 설명된 다른 프로세스들은 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수 있고, 하나 이상의 프로세서들 상에서, 하드웨어에 의해, 또는 이들의 조합들로 집합적으로 실행되는 코드(예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터-판독가능 또는 머신-판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터-판독가능 또는 머신-판독가능 저장 매체는 비-일시적일 수 있다.
[0164]
도 14는 본 기술의 어떤 양상들을 구현하기 위한 시스템의 예를 예시하는 도면이다. 특히, 도 14는 컴퓨팅 시스템(1400)의 예를 예시하고, 컴퓨팅 시스템(1400)은 예를 들어, 내부 컴퓨팅 시스템, 원격 컴퓨팅 시스템, 카메라, 또는 시스템의 컴포넌트들이 접속(1405)을 이용하여 서로 통신하는 그 임의의 컴포넌트를 구성하는 임의의 컴퓨팅 디바이스일 수 있다. 접속(1405)은 버스를 이용하는 물리적 접속, 또는 칩셋 아키텍처에서와 같은, 프로세서(1410) 내로의 직접 접속일 수 있다. 접속(1405)은 또한, 가상적 접속, 네트워크화된 접속, 또는 논리적 접속일 수 있다.
[0165]
일부 실시예들에서, 컴퓨팅 시스템(1400)은 이 개시내용에서 설명된 기능들이 데이터센터, 다수의 데이터 센터들, 피어 네트워크 등의 내에서 분산될 수 있는 분산된 시스템이다. 일부 실시예들에서, 설명된 시스템 컴포넌트들 중 하나 이상은 컴포넌트가 설명되는 기능의 일부 또는 전부를 각각 수행하는 다수의 이러한 컴포넌트들을 나타낸다. 일부 실시예들에서, 컴포넌트들은 물리적 또는 가상적 디바이스들일 수 있다.
[0166]
예시적인 시스템(1400)은 적어도 하나의 프로세싱 유닛(CPU 또는 프로세서(1410), 및 ROM(read-only memory)(1420) 및 RAM(random access memory)(1425)와 같은, 시스템 메모리(1415)를 포함하는 다양한 시스템 컴포넌트들을 프로세서(1410)에 결합하는 접속(1405)을 포함한다. 컴퓨팅 시스템(1400)은, 프로세서(1410)와 직접적으로 또는 매우 인접하게 접속되거나, 프로세서(1410)의 일부로서 통합되는 고속 메모리의 캐시(cache)(1412)를 포함할 수 있다.
[0167]
프로세서(1410)는 임의의 범용 프로세서, 및 프로세서(1410) 뿐만 아니라, 소프트웨어 명령들이 실제적인 프로세서 설계 내로 통합되는 특수-목적 프로세서를 제어하도록 구성된, 저장 디바이스(1430) 내에 저장된 서비스들(1432, 1434, 및 1436)과 같은, 하드웨어 서비스 또는 소프트웨어 서비스를 포함할 수 있다. 프로세서(1410)는 필수적으로, 다수의 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 자립적인(self-contained) 컴퓨팅 시스템일 수 있다. 멀티-코어 프로세서는 대칭적 또는 비대칭적일 수 있다.
[0168]
사용자 상호작용을 가능하게 하기 위하여, 컴퓨팅 시스템(1400)은, 음성을 위한 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치-감지 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 수의 입력 메커니즘들을 나타낼 수 있는 입력 디바이스(1445)를 포함한다. 컴퓨팅 시스템(1400)은 또한, 다수의 출력 메커니즘들 중 하나 이상일 수 있는 출력 디바이스(1435)를 포함할 수 있다. 일부 사례들에서, 멀티모달 시스템(multimodal system)들은 사용자가 컴퓨팅 시스템(1400)과 통신하기 위하여 다수의 유형들의 입력/출력을 제공하는 것을 가능하게 할 수 있다. 컴퓨팅 시스템(1400)은, 사용자 입력 및 시스템 출력을 일반적으로 지배하고 관리할 수 있는 통신 인터페이스(1440)를 포함할 수 있다.
[0169]
통신 인터페이스는, 오디오 잭/플러그(jack/plug), 마이크로폰 잭/플러그, USB(universal serial bus) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 독점적 유선 포트/플러그, BLUETOOTH® 무선 신호 전송, BLE(BLUETOOTH® low energy) 무선 신호 전송, IBEACON® 무선 신호 전송, RFID(radio-frequency identification) 무선 신호 전송, NFC(near-field communications) 무선 신호 전송, DSRC(dedicated short range communication) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, WLAN(wireless local area network) 신호 전송, VLC(Visible Light Communication), WiMAX(Worldwide Interoperability for Microwave Access), IR(Infrared) 통신 무선 신호 전송, PSTN(Public Switched Telephone Network) 신호 전송, ISDN(Integrated Services Digital Network) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, 애드-혹(ad-hoc) 네트워크 신호 전송, 라디오파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외선 광 신호 전송, 전자기 스펙트럼을 따르는 무선 신호 전송, 또는 그 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 트랜시버들을 이용하는 유선 또는 무선 통신들의 수신 및/또는 송신을 수행할 수 있거나 이를 용이하게 할 수 있다.
[0170]
통신 인터페이스(1440)는 또한, 하나 이상의 GNSS 시스템들과 연관된 하나 이상의 위성들로부터의 하나 이상의 신호들의 수신에 기초하여 컴퓨팅 시스템(1400)의 위치를 결정하기 위하여 이용되는 하나 이상의 GNSS(Global Navigation Satellite System) 수신기들 또는 트랜시버들을 포함할 수 있다. GNSS 시스템들은 미국-기반 GPS(Global Positioning System), 러시아-기반 GLONASS(Global Navigation Satellite System), 중국-기반 BDS(BeiDou Navigation Satellite System), 및 유럽-기반 갈릴레오(Galileo) GNSS를 포함하지만, 이것으로 제한되지는 않는다. 임의의 특정한 하드웨어 배열 상에서의 동작에 대한 한정이 없고, 그러므로, 여기에서의 기본적인 특징들은 이들이 개발될 때에 개선된 하드웨어 또는 펌웨어 배열들로 용이하게 치환될 수 있다.
[0171]
저장 디바이스(1430)는 비-휘발성 및/또는 비-일시적인 및/또는 컴퓨터-판독가능 메모리 디바이스일 수 있고, 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다용도 디스크들, 카트리지들, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리(memristor memory), 임의의 다른 솔리드-스테이트 메모리, CD-ROM(compact disc read only memory) 광학 디스크, 재기입가능한 CD(compact disc) 광학 디스크, DVD(digital video disk) 광학 디스크, BDD(blu-ray disc) 광학 디스크, 홀로그래픽 광학 디스크, 또 다른 광학 매체, SD(secure digital) 카드, microSD(micro secure digital) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, SIM(subscriber identity module) 카드, 미니/마이크로/나노/피코 SIM 카드, 또 다른 IC(integrated circuit) 칩/카드, RAM(random access memory), SRAM(static RAM), DRAM(dynamic RAM), ROM(read-only memory), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), FLASHEPROM(flash EPROM), 캐시 메모리(L1/L2/L3/L4/L5/L#), 저항성 랜덤-액세스 메모리(RRAM/ReRAM), PCM(phase change memory), STT-RAM(spin transfer torque RAM), 또 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합과 같은, 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 유형들의 컴퓨터 판독가능 매체들일 수 있다.
[0172]
저장 디바이스(1430)는, 이러한 소프트웨어를 정의하는 코드가 프로세서(1410)에 의해 실행될 때, 시스템으로 하여금, 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시예들에서, 특정한 기능을 수행하는 하드웨어 서비스는 기능을 수행하기 위하여, 프로세서(1410), 접속(1405), 출력 디바이스(1435) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터-판독가능 매체 내에 저장되는 소프트웨어 컴포넌트를 포함할 수 있다. 용어 "컴퓨터-판독가능 매체"는 휴대용 또는 비-휴대용 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장할 수 있거나, 포함할 수 있거나, 반송할 수 있는 다양한 다른 매체들을 포함하지만, 이것으로 제한되지는 않는다. 컴퓨터-판독가능 매체는 데이터가 저장될 수 있으며 무선으로 또는 유선 접속들을 통해 전파하는 반송파들 및/또는 일시적 전자 신호들을 포함하지 않는 비-일시적인 매체를 포함할 수 있다.
[0173]
비-일시적인 매체의 예들은 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체들, 플래시 메모리, 메모리, 또는 메모리 디바이스들을 포함할 수 있지만, 이것으로 제한되지는 않는다. 컴퓨터-판독가능 매체는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 코드 및/또는 머신-실행가능 명령들을 저장하였을 수 있다. 코드 세그먼트는 정보, 데이터, 인수(argument)들, 파라미터들, 또는 메모리 내용들을 전달하고 및/또는 수신함으로써 또 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신, 또는 등을 포함하는 임의의 적당한 수단을 통해 전달될 수 있거나, 포워딩될 수 있거나, 송신될 수 있다.
[0174]
특정 세부사항들은 본원에서 제공되는 실시예들 및 예들의 철저한 이해를 제공하기 위하여 위의 설명에서 제공되지만, 본 기술분야에서의 통상의 기술자들은 출원이 이것으로 제한되지 않는다는 것을 인식할 것이다. 이에 따라, 출원의 예시적인 실시예들이 본원에서 상세하게 설명되었지만, 발명 개념들은 이와 다르게 다양하게 구체화되고 채용될 수 있고, 종래 기술에 의해 제한되는 것을 제외하고는, 첨부된 청구항들이 이러한 변형들을 포함하는 것으로 해석되도록 의도된다는 것이 이해되어야 한다. 전술한 출원의 다양한 특징들 및 양상들은 개별적으로 또는 공동으로 이용될 수 있다. 추가로, 실시예들은 명세서의 더 넓은 사상 및 범위로부터 이탈하지 않으면서, 본원에서 설명된 것들을 초월하여 임의의 수의 환경들 및 애플리케이션들에서 사용될 수 있다. 따라서, 명세서 및 도면들은 한정적인 것이 아니라, 예시적인 것으로 간주되어야 한다. 예시의 목적들을 위하여, 방법들은 특정한 순서로 설명되었다. 대안적인 실시예들에서, 방법들은 설명된 것과는 상이한 순서로 수행될 수 있다는 것이 인식되어야 한다.
[0175]
설명의 명확함을 위하여, 일부 사례들에서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어로 구체화된 방법에서의 단계들 또는 루틴들, 또는 하드웨어 및 소프트웨어의 조합들을 포함하는 개별적인 기능 블록들을 포함하는 것으로서 제시될 수 있다. 도면들에서 도시되고 및/또는 본원에서 설명되는 것들 이외의 추가적인 컴포넌트들이 이용될 수 있다. 예를 들어, 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 컴포넌트들은 실시예들을 불필요한 세부사항으로 실시예들을 모호하게 하지 않도록 하기 위하여 블록도 형태인 컴포넌트들로서 도시될 수 있다. 다른 사례들에서는, 널리-공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들이 실시예들을 모호하게 하는 것을 회피하기 위하여 불필요한 세부사항 없이 도시될 수 있다.
[0176]
추가로, 본 기술분야에서의 통상의 기술자들은 본원에서 개시된 양상들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 둘 모두의 조합들로서 구현될 수 있다는 것을 인식할 것이다. 하드웨어 및 소프트웨어의 이 상호 교환가능성을 명확하게 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 일반적으로 그 기능성의 측면에서 위에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션, 및 전체적인 시스템에 부과된 설계 제약들에 종속된다. 숙련된 기술자들은 설명된 기능성을 각각의 특정 애플리케이션을 위한 다양한 방식들로 구현할 수 있지만, 이러한 구현 판정들은 본 개시내용의 범위로부터의 이탈을 야기시키는 것으로 해석되지 않아야 한다.
[0177]
개별적인 실시예들은 플로우차트, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로서 도시되는 프로세스 또는 방법으로서 위에서 설명될 수 있다. 플로우차트는 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중의 다수는 병렬로 또는 동시에 수행될 수 있다. 추가적으로, 동작들의 순서는 재배열될 수 있다. 프로세스는 그 동작들이 완료될 때에 종결되지만, 도면에서 포함되지 않은 추가적인 단계들을 가질 수 있다. 프로세스는 방법, 함수, 프로시저(procedure), 서브루틴(subroutine), 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종결은 호출 함수 또는 주 함수로의 함수의 복귀에 대응할 수 있다.
[0178]
전술한 예들에 따른 프로세스들 및 방법들은, 저장되거나 이와 다르게 컴퓨터-판독가능 매체들로부터 입수가능한 컴퓨터-실행가능 명령들을 이용하여 구현될 수 있다. 이러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스가 어떤 기능 또는 기능들의 그룹을 수행하게 하거나 그렇지 않을 경우에 이들을 구성하는 명령들 및 데이터를 포함할 수 있다. 이용된 컴퓨터 자원들의 부분들은 네트워크 상에서 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은 예를 들어, 어셈블리 언어, 펌웨어, 또는 소스 코드와 같은 2진수인 중간 포맷 명령들일 수 있다. 명령들, 이용된 정보, 및/또는 설명된 예들에 따른 방법들 동안에 생성된 정보를 저장하기 위하여 이용될 수 있는 컴퓨터-판독가능 매체들의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비-휘발성 메모리가 제공된 USB 디바이스들, 네트워크화된 저장 디바이스들 등을 포함한다.
[0179]
일부 실시예들에서, 컴퓨터-판독가능 저장 디바이스들, 매체들, 및 메모리들은 비트스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나, 언급될 때, 비-일시적인 컴퓨터-판독가능 저장 매체들은 에너지, 반송파 신호들, 전자기파들, 및 신호들 자체와 같은 매체들을 명백히 제외한다.
[0180]
본 기술분야에서의 통상의 기술자들은 정보 및 신호들이 다양한 상이한 기술들 및 기법들 중 임의의 것을 이용하여 표현될 수 있다는 것을 인식할 것이다. 예를 들어, 위의 설명의 전반에 걸쳐 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은, 일부 경우들에 있어서, 부분적으로 특정한 애플리케이션, 부분적으로 희망된 설계, 부분적으로 대응하는 기술 등에 따라서는, 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학 필드들 또는 입자들, 또는 이들의 임의의 조합에 의해 표현될 수 있다.
[0181]
본원에서 개시된 양상들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 및 회로들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 조합을 이용하여 구현될 수 있거나 수행될 수 있고, 다양한 폼팩터(form factor)들 중 임의의 것을 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 필요한 태스크(task)들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예컨대, 컴퓨터-프로그램 제품)은 컴퓨터-판독가능 또는 머신-판독가능 매체 내에 저장될 수 있다. 프로세서(들)는 필요한 태스크들을 수행할 수 있다. 폼팩터들의 예들은 랩톱들, 스마트 폰들, 모바일 전화들, 태블릿 디바이스들 또는 다른 소형 폼팩터 개인용 컴퓨터들, 개인 정보 단말(personal digital assistant)들, 랙마운트(rackmount) 디바이스들, 단독형(standalone) 디바이스들 등을 포함한다. 본원에서 설명된 기능성은 또한, 주변기기들 또는 애드-인(add-in) 카드들에서 구체화될 수 있다. 이러한 기능성은 또한, 추가의 예로서, 단일 디바이스에서 실행되는 상이한 칩들 또는 상이한 프로세스들 사이의 회로 보드 상에서 구현될 수 있다.
[0182]
명령들, 이러한 명령들을 전달하기 위한 매체들, 이들을 실행하기 위한 컴퓨팅 자원들, 및 이러한 컴퓨팅 자원들을 지원하기 위한 다른 구조들은 이 개시내용들에서 설명된 기능들을 제공하기 위한 예시적인 수단이다.
[0183]
본원에서 설명된 기법들은 또한, 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 애플리케이션을 포함하는 다수의 용도들을 갖는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 것에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께, 또는 개별적이지만 상호 동작가능한 로직 디바이스들로서 별도로 구현될 수 있다. 소프트웨어로 구현될 경우, 기법들은, 실행될 때, 위에서 설명된 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터-판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수 있다. 컴퓨터-판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터-판독가능 매체는, SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수 있다. 추가적으로 또는 대안적으로, 기법들은 전파된 신호들 또는 파(wave)들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 반송하거나 통신하며, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수 있다.
[0184]
프로그램 코드는, 하나 이상의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable logic array)들, 또는 다른 등가의 집적 또는 개별 로직 회로부와 같은 하나 이상의 프로세서들을 포함할 수 있는 프로세서에 의해 실행될 수 있다. 이러한 프로세서는 이 개시내용에서 설명된 기법들 중 임의의 것을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 기존의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예컨대, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 함께 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수 있다. 따라서, 본원에서 이용된 바와 같은 용어 "프로세서"는 상기한 구조, 상기 구조의 임의의 조합, 또는 본원에서 설명된 기법들의 구현을 위하여 적당한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다.
[0185]
통상의 기술자는 이 설명의 범위로부터 이탈하지 않으면서, 본원에서 이용된 미만("<") 및 초과(">") 기호들 또는 용어가 이하("≤") 및 이상("≥") 기호들로 각각 대체될 수 있다는 것을 인식할 것이다.
[0186]
컴포넌트들이 어떤 동작들을 수행하도록 "구성되는 것"으로서 설명될 경우, 이러한 구성은 예를 들어, 동작을 수행하기 위하여 전자 회로들 또는 다른 하드웨어를 설계함으로써, 동작을 수행하기 위하여 프로그래밍가능한 전자 회로들(예컨대, 마이크로프로세서들, 또는 다른 적당한 전자 회로들)을 프로그래밍함으로써, 또는 이들의 임의의 조합으로 달성될 수 있다.
[0187]
어구 "~에 결합된"은, 직접적으로 또는 간접적으로 또 다른 컴포넌트에 물리적으로 접속되는 임의의 컴포넌트, 및/또는 직접적으로 또는 간접적으로 또 다른 컴포넌트와 통신하는(예컨대, 유선 또는 무선 접속, 및/또는 다른 적당한 통신 인터페이스 상에서 다른 컴포넌트에 접속되는) 임의의 컴포넌트를 지칭한다.
[0188]
세트의 "~중 적어도 하나" 및/또는 세트의 "하나 이상"을 인용하는 청구항 언어 또는 다른 언어는, 세트의 하나의 부재 또는 (임의의 조합인) 세트의 다수의 부재들이 청구항을 만족시킨다는 것을 표시한다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미한다. 또 다른 예에서, "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나"를 인용하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 의미한다. 언어 세트의 "~중 적어도 하나" 및/또는 세트의 "하나 이상"은 세트를 세트에서 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있고, 추가적으로, A 및 B의 세트에서 열거되지 않은 항목들을 포함할 수 있다.
[0189]
개시내용의 예시적인 양상들은 다음을 포함한다:
[0190]
양상 1: 하나 이상의 감지 모델들을 훈련시키기 위한 장치로서, 장치는, 적어도 하나의 네트워크 인터페이스; 적어도 하나의 메모리; 및 적어도 하나의 메모리에 결합된 적어도 하나의 프로세서를 포함하는, 장치. 적어도 하나의 프로세서는, 적어도 하나의 네트워크 인터페이스를 통해, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하고 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하고 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하도록 구성된다.
[0191]
양상 2: 양상 1의 장치에 있어서, 훈련 라벨 데이터는 제1 객체와 연관된 액션, 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 표시하는 정보를 포함하는, 장치.
[0192]
양상 3: 양상들 1 또는 2 중 어느 한 양상의 장치에 있어서, 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는, 장치.
[0193]
양상 4: 양상들 1 내지 3 중 어느 한 양상의 장치에 있어서, 입력 데이터는 사용자에 대한 생체계측 데이터, 사용자에 대한 아이덴티티(identity) 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는, 장치.
[0194]
양상 5: 양상들 1 내지 4 중 어느 한 양상의 장치에 있어서, 무선 디바이스와 라벨링 디바이스(labeling device) 사이에 시간 동기화가 유지되는, 장치.
[0195]
양상 6: 양상들 1 내지 5 중 어느 한 양상의 장치에 있어서, 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는, 장치.
[0196]
양상 7: 양상 6의 장치에 있어서, 라벨링 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처(capture)하도록 구성되는 카메라를 포함하는, 장치.
[0197]
양상 8: 양상들 6 또는 7 중 어느 한 양상의 장치에 있어서, 라벨링 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 장치.
[0198]
양상 9: 양상들 1 내지 8 중 어느 한 양상의 장치에 있어서, 훈련 라벨 데이터는 적어도 하나의 무선 디바이스로부터 수신되는, 장치.
[0199]
양상 10: 양상 9의 장치에 있어서, 적어도 하나의 무선 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 장치.
[0200]
양상 11: 양상들 9 또는 10 중 어느 한 양상의 장치에 있어서, 적어도 하나의 무선 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 장치.
[0201]
양상 12: 양상들 1 내지 11 중 어느 한 양상의 장치에 있어서, 감지 모델은 머신-학습 모델을 포함하는, 장치.
[0202]
양상 13: 양상 12의 장치에 있어서, 머신-학습 모델은 CNN(Convolutional Neural Network)인, 장치.
[0203]
양상 14: 양상들 1 내지 13 중 어느 한 양상의 장치에 있어서, 적어도 하나의 프로세서는, 제2 객체와 연관된 라디오 주파수 데이터를 수신하고; 라디오 주파수 데이터를 감지 모델에 제공하고; 감지 모델로부터, 제2 객체와 연관된 하나 이상의 추론 라벨(inference label)들을 수신하도록 추가로 구성되는, 장치.
[0204]
양상 15: 양상 14의 장치에 있어서, 하나 이상의 추론 라벨들은, 제2 객체와 연관된 위치, 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는, 장치.
[0205]
양상 16: 하나 이상의 감지 모델들을 훈련시키기 위한 방법으로서, 방법은, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하는 단계 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하는 단계 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하는 단계를 포함하는, 방법.
[0206]
양상 17: 양상 16의 방법에 있어서, 훈련 라벨 데이터는 제1 객체와 연관된 액션, 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 표시하는 정보를 포함하는, 방법.
[0207]
양상 18: 양상들 16 또는 17 중 어느 한 양상의 방법에 있어서, 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는, 방법.
[0208]
양상 19: 양상들 16 내지 18 중 어느 한 양상의 방법에 있어서, 입력 데이터는 사용자에 대한 생체계측 데이터, 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는, 방법.
[0209]
양상 20: 양상들 16 내지 19 중 어느 한 양상의 방법에 있어서, 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지되는, 방법.
[0210]
양상 21: 양상들 16 내지 20 중 어느 한 양상의 방법에 있어서, 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는, 방법.
[0211]
양상 22: 양상 21의 방법에 있어서, 라벨링 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 방법.
[0212]
양상 23: 양상들 21 또는 22 중 어느 한 양상의 방법에 있어서, 라벨링 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 방법.
[0213]
양상 24: 양상들 16 내지 23 중 어느 한 양상의 방법에 있어서, 훈련 라벨 데이터는 적어도 하나의 무선 디바이스로부터 수신되는, 방법.
[0214]
양상 25: 양상 24의 방법에 있어서, 적어도 하나의 무선 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 방법.
[0215]
양상 26: 양상들 24 또는 25 중 어느 한 양상의 방법에 있어서, 적어도 하나의 무선 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 방법.
[0216]
양상 27: 양상들 16 내지 26 중 어느 한 양상의 방법에 있어서, 감지 모델은 머신-학습 모델을 포함하는, 방법.
[0217]
양상 28: 양상 27의 장치에 있어서, 머신-학습 모델은 CNN(Convolutional Neural Network)인, 방법.
[0218]
양상 29: 양상들 16 내지 28 중 어느 한 양상의 방법에 있어서, 제2 객체와 연관된 라디오 주파수 데이터를 수신하는 단계; 라디오 주파수 데이터를 감지 모델에 제공하는 단계; 및 감지 모델로부터, 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하는 단계를 더 포함하는, 방법.
[0219]
양상 30: 양상 29의 방법에 있어서, 하나 이상의 추론 라벨들은, 제2 객체와 연관된 위치, 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는, 방법.
[0220]
양상 31: 적어도 하나의 명령을 포함하는 비-일시적인 컴퓨터-판독가능 저장 매체로서, 적어도 하나의 명령은, 컴퓨터 또는 프로세서로 하여금, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하게 하고 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하게 하고 ― 훈련 라벨 데이터는 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하게 하기 위한 것인, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0221]
양상 32: 양상 31의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 훈련 라벨 데이터는 제1 객체와 연관된 액션, 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0222]
양상 33: 양상들 31 또는 32 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0223]
양상 34: 양상들 31 내지 33 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 입력 데이터는 사용자에 대한 생체계측 데이터, 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0224]
양상 35: 양상들 31 내지 34 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지되는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0225]
양상 36: 양상들 31 내지 35 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0226]
양상 37: 양상 36의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 라벨링 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0227]
양상 38: 양상들 36 또는 37 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 라벨링 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0228]
양상 39: 양상들 31 내지 38 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 훈련 라벨 데이터는 적어도 하나의 무선 디바이스로부터 수신되는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0229]
양상 40: 양상 39의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 적어도 하나의 무선 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0230]
양상 41: 양상들 39 또는 40 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 적어도 하나의 무선 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0231]
양상 42: 양상들 31 내지 42 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 감지 모델은 머신-학습 모델을 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0232]
양상 43: 양상 42의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 머신-학습 모델은 CNN(Convolutional Neural Network)인, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0233]
양상 44: 양상들 31 내지 43 중 어느 한 양상의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 컴퓨터 또는 프로세서로 하여금, 제2 객체와 연관된 라디오 주파수 데이터를 수신하게 하고; 라디오 주파수 데이터를 감지 모델에 제공하게 하고; 감지 모델로부터, 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하게 하기 위한 적어도 하나의 명령을 더 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0234]
양상 45: 양상 44의 비-일시적인 컴퓨터-판독가능 저장 매체에 있어서, 하나 이상의 추론 라벨들은, 제2 객체와 연관된 위치, 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는, 비-일시적인 컴퓨터-판독가능 저장 매체.
[0235]
양상 46: 하나 이상의 감지 모델들을 훈련시키기 위한 장치로서, 장치는, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하기 위한 수단 ― 라디오 주파수 데이터는, 제1 객체로부터 반사되고 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―; 훈련 라벨 데이터를 획득하기 위한 수단 ― 훈련 라벨은 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및 라디오 주파수 데이터 및 훈련 라벨 데이터에 기초하여 감지 모델을 생성하기 위한 수단을 포함하는, 장치.
[0236]
양상 47: 양상 46의 장치에 있어서, 훈련 라벨 데이터는 제1 객체와 연관된 액션, 제1 객체와 연관된 위치, 또는 이들의 조합을 표시하는 정보를 포함하는, 장치.
[0237]
양상 48: 양상들 46 또는 47 중 어느 한 양상의 장치에 있어서, 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 하나 이상을 포함하는, 장치.
[0238]
양상 49: 양상들 46 내지 48 중 어느 한 양상의 장치에 있어서, 입력 데이터는 생체계측 데이터, 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 하나 이상을 포함하는, 장치.
[0239]
양상 50: 양상들 46 내지 49 중 어느 한 양상의 장치에 있어서, 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지되는, 장치.
[0240]
양상 51: 양상들 46 내지 50 중 어느 한 양상의 장치에 있어서, 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는, 장치.
[0241]
양상 52: 양상 51의 장치에 있어서, 라벨링 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 장치.
[0242]
양상 53: 양상들 51 또는 52 중 어느 한 양상의 장치에 있어서, 라벨링 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 장치.
[0243]
양상 54: 양상들 46 내지 53 중 어느 한 양상의 장치에 있어서, 훈련 라벨 데이터는 적어도 하나의 무선 디바이스로부터 수신되는, 장치.
[0244]
양상 55: 양상 54의 장치에 있어서, 적어도 하나의 무선 디바이스는, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는, 장치.
[0245]
양상 56: 양상들 54 또는 55 중 어느 한 양상의 장치에 있어서, 적어도 하나의 무선 디바이스는 카메라, 및 카메라로 훈련 라벨 데이터를 동시에 생성하고 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는, 장치.
[0246]
양상 57: 양상들 46 내지 56 중 어느 한 양상의 장치에 있어서, 감지 모델은 머신-학습 모델을 포함하는, 장치.
[0247]
양상 58: 양상 57의 장치에 있어서, 머신-학습 모델은 CNN(Convolutional Neural Network)인, 장치.
[0248]
양상 59: 양상들 46 내지 58 중 어느 한 양상의 장치에 있어서, 제2 객체와 연관된 라디오 주파수 데이터를 수신하기 위한 수단; 라디오 주파수 데이터를 감지 모델에 제공하기 위한 수단; 및 감지 모델로부터, 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하기 위한 수단을 더 포함하는, 장치.
[0249]
양상 60: 양상 59의 장치에 있어서, 하나 이상의 추론 라벨들은, 제2 객체와 연관된 위치, 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는, 장치.
Claims (60)
- 하나 이상의 감지 모델(sensing model)들을 훈련(train)시키기 위한 장치로서,
적어도 하나의 네트워크 인터페이스;
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 결합된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
상기 적어도 하나의 네트워크 인터페이스를 통해, 적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하고 ― 상기 라디오 주파수 데이터는, 제1 객체(object)로부터 반사되고 상기 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―;
훈련 라벨 데이터(training label data)를 획득하고 ― 상기 훈련 라벨 데이터는 상기 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 그리고
상기 라디오 주파수 데이터 및 상기 훈련 라벨 데이터에 기초하여 감지 모델을 생성하도록 구성되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 훈련 라벨 데이터는, 상기 제1 객체와 연관된 액션, 상기 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 입력 데이터는 사용자에 대한 생체계측 데이터(biometric data), 상기 사용자에 대한 아이덴티티(identity) 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 무선 디바이스와 라벨링 디바이스(labeling device) 사이에 시간 동기화(time synchronization)가 유지되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제6 항에 있어서,
상기 라벨링 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처(capture)하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제6 항에 있어서,
상기 라벨링 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 훈련 라벨 데이터는 상기 적어도 하나의 무선 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제9 항에 있어서,
상기 적어도 하나의 무선 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제9 항에 있어서,
상기 적어도 하나의 무선 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 감지 모델은 머신-학습 모델을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제12 항에 있어서,
상기 머신-학습 모델은 CNN(Convolutional Neural Network)인,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제1 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
제2 객체와 연관된 라디오 주파수 데이터를 수신하고;
상기 라디오 주파수 데이터를 상기 감지 모델에 제공하고; 그리고
상기 감지 모델로부터, 상기 제2 객체와 연관된 하나 이상의 추론 라벨(inference label)들을 수신하도록 구성되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제14 항에 있어서,
상기 하나 이상의 추론 라벨들은, 상기 제2 객체와 연관된 위치, 상기 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 하나 이상의 감지 모델들을 훈련시키기 위한 방법으로서,
적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하는 단계 ― 상기 라디오 주파수 데이터는, 제1 객체로부터 반사되고 상기 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―;
훈련 라벨 데이터를 획득하는 단계 ― 상기 훈련 라벨 데이터는 상기 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및
상기 라디오 주파수 데이터 및 상기 훈련 라벨 데이터에 기초하여 감지 모델을 생성하는 단계를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 훈련 라벨 데이터는, 상기 제1 객체와 연관된 액션, 상기 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 입력 데이터는 사용자에 대한 생체계측 데이터, 상기 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화(time sync)가 유지되는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제21 항에 있어서,
상기 라벨링 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제21 항에 있어서,
상기 라벨링 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 훈련 라벨 데이터는 상기 적어도 하나의 무선 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제24 항에 있어서,
상기 적어도 하나의 무선 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제24 항에 있어서,
상기 적어도 하나의 무선 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
상기 감지 모델은 머신-학습 모델을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제27 항에 있어서,
상기 머신-학습 모델은 CNN(Convolutional Neural Network)인,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제16 항에 있어서,
제2 객체와 연관된 라디오 주파수 데이터를 수신하는 단계;
상기 라디오 주파수 데이터를 상기 감지 모델에 제공하는 단계; 및
상기 감지 모델로부터, 상기 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하는 단계를 더 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 제29 항에 있어서,
상기 하나 이상의 추론 라벨들은, 상기 제2 객체와 연관된 위치, 상기 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 방법. - 적어도 하나의 명령을 포함하는 비-일시적인 컴퓨터-판독가능 저장 매체로서,
상기 적어도 하나의 명령은, 컴퓨터 또는 프로세서로 하여금:
적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하게 하고 ― 상기 라디오 주파수 데이터는, 제1 객체로부터 반사되고 상기 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―;
훈련 라벨 데이터를 획득하게 하고 ― 상기 훈련 라벨 데이터는 상기 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 그리고
상기 라디오 주파수 데이터 및 상기 훈련 라벨 데이터에 기초하여 감지 모델을 생성하게 하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 훈련 라벨 데이터는 상기 제1 객체와 연관된 액션, 상기 제1 객체와 연관된 위치, 또는 이들의 조합 중 적어도 하나를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 적어도 하나를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 입력 데이터는 사용자에 대한 생체계측 데이터, 상기 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 적어도 하나를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지되는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제36 항에 있어서,
상기 라벨링 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제36 항에 있어서,
상기 라벨링 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 훈련 라벨 데이터는 상기 적어도 하나의 무선 디바이스로부터 수신되는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제39 항에 있어서,
상기 적어도 하나의 무선 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제39 항에 있어서,
상기 적어도 하나의 무선 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 감지 모델은 머신-학습 모델을 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제42 항에 있어서,
상기 머신-학습 모델은 CNN(Convolutional Neural Network)인,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제31 항에 있어서,
상기 컴퓨터 또는 상기 프로세서로 하여금:
제2 객체와 연관된 라디오 주파수 데이터를 수신하게 하고;
상기 라디오 주파수 데이터를 상기 감지 모델에 제공하게 하고; 그리고
상기 감지 모델로부터, 상기 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하게 하기 위한
적어도 하나의 명령을 더 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 제44 항에 있어서,
상기 하나 이상의 추론 라벨들은, 상기 제2 객체와 연관된 위치, 상기 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는,
비-일시적인 컴퓨터-판독가능 저장 매체. - 하나 이상의 감지 모델들을 훈련시키기 위한 장치로서,
적어도 하나의 무선 디바이스와 연관된 라디오 주파수 데이터를 수신하기 위한 수단 ― 상기 라디오 주파수 데이터는, 제1 객체로부터 반사되고 상기 적어도 하나의 무선 디바이스에 의해 수신되는 라디오 주파수 신호들에 기초함 ―;
훈련 라벨 데이터를 획득하기 위한 수단 ― 상기 훈련 라벨은 상기 제1 객체 및 입력 데이터에 적어도 부분적으로 기초함 ―; 및
상기 라디오 주파수 데이터 및 상기 훈련 라벨 데이터에 기초하여 감지 모델을 생성하기 위한 수단을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 훈련 라벨 데이터는, 상기 제1 객체와 연관된 액션, 상기 제1 객체와 연관된 위치, 또는 이들의 조합을 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 입력 데이터는 사용자에 의한 텍스트의 선택, 사용자에 의해 제공되는 오디오 입력, 또는 이들의 조합 중 하나 이상을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 입력 데이터는 생체계측 데이터, 사용자에 대한 아이덴티티 데이터, 또는 이들의 조합 중 하나 이상을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 무선 디바이스와 라벨링 디바이스 사이에 시간 동기화가 유지되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 훈련 라벨 데이터는 라벨링 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제51 항에 있어서,
상기 라벨링 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제51 항에 있어서,
상기 라벨링 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 훈련 라벨 데이터는 상기 적어도 하나의 무선 디바이스로부터 수신되는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제54 항에 있어서,
상기 적어도 하나의 무선 디바이스는, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 이미지들, 상기 제1 객체와 연관된 관심 있는 위치의 하나 이상의 비디오들, 또는 이들의 조합을 캡처하도록 구성되는 카메라를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제54 항에 있어서,
상기 적어도 하나의 무선 디바이스는 카메라, 및 상기 카메라로 상기 훈련 라벨 데이터를 동시에 생성하고 상기 라벨링 디바이스의 위치를 결정하기 위한 SLAM(simultaneous localization and mapping) 시스템을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
상기 감지 모델은 머신-학습 모델을 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제57 항에 있어서,
상기 머신-학습 모델은 CNN(Convolutional Neural Network)인,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제46 항에 있어서,
제2 객체와 연관된 라디오 주파수 데이터를 수신하기 위한 수단;
상기 라디오 주파수 데이터를 상기 감지 모델에 제공하기 위한 수단; 및
상기 감지 모델로부터, 상기 제2 객체와 연관된 하나 이상의 추론 라벨들을 수신하기 위한 수단을 더 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치. - 제59 항에 있어서,
상기 하나 이상의 추론 라벨들은, 상기 제2 객체와 연관된 위치, 상기 제2 객체와 연관된 액션, 또는 이들의 조합을 표시하는 정보를 포함하는,
하나 이상의 감지 모델들을 훈련시키기 위한 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/229,805 | 2021-04-13 | ||
| US17/229,805 US11755886B2 (en) | 2021-04-13 | 2021-04-13 | Passive positioning with radio frequency sensing labels |
| PCT/US2022/018796 WO2022220947A1 (en) | 2021-04-13 | 2022-03-03 | Passive positioning with radio frequency sensing labels |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230169969A true KR20230169969A (ko) | 2023-12-18 |
Family
ID=80819862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237034246A KR20230169969A (ko) | 2021-04-13 | 2022-03-03 | 라디오 주파수 감지 라벨들에 의한 수동 포지셔닝 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11755886B2 (ko) |
| EP (1) | EP4323797A1 (ko) |
| KR (1) | KR20230169969A (ko) |
| CN (1) | CN117157552A (ko) |
| TW (1) | TW202307458A (ko) |
| WO (1) | WO2022220947A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531755B1 (ko) * | 2020-03-12 | 2023-05-12 | 한국전자통신연구원 | 레이더 영상 생성 방법 및 이를 수행하는 장치 |
| EP4017034A1 (en) * | 2020-12-21 | 2022-06-22 | Deutsche Telekom AG | 5g positioning slam tags |
| US11575452B2 (en) | 2021-04-13 | 2023-02-07 | Qualcomm Incorporated | Passive positioning with radio frequency sensing |
| US11871299B2 (en) * | 2021-04-13 | 2024-01-09 | Qualcomm Incorporated | Self-supervised passive positioning using wireless data |
| US12022358B2 (en) * | 2021-04-13 | 2024-06-25 | Qualcomm Incorporated | Self-supervised passive positioning using wireless data |
| US20230020504A1 (en) * | 2021-07-16 | 2023-01-19 | Whitestar Communications, Inc. | Localized machine learning of user behaviors in network operating system for enhanced secure services in secure data network |
| CN115238717B (zh) * | 2022-08-16 | 2023-07-04 | 中国建筑一局(集团)有限公司 | 一种区域人口走向计算系统及方法 |
| US12038493B2 (en) * | 2022-09-08 | 2024-07-16 | Cognitive Systems Corp. | Systems and methods for motion detection using sensing transmission clusters |
| US20240144098A1 (en) * | 2022-10-28 | 2024-05-02 | Mediatek Inc. | Artificial intelligence (ai)-channel state information (csi) automated labeling method |
| CN116047399B (zh) * | 2023-04-03 | 2023-06-27 | 深圳市成为信息股份有限公司 | Uhf手持终端精确定位标签的方法及相关装置 |
| CN117473880B (zh) * | 2023-12-27 | 2024-04-05 | 中国科学技术大学 | 样本数据生成方法及无线跌倒检测方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242563B2 (en) | 2014-10-31 | 2019-03-26 | Siemens Schweiz Ag | Method, digital tool, device and system for detecting/recognizing in a radio range, in particular of an indoor area, repetitive motions, in particular rhythmic gestures, with at least one motional speed and each at least one repetition |
| US9964468B1 (en) | 2014-12-08 | 2018-05-08 | Bentley Systems, Incorporated | Optimizing sensor placement for structural health monitoring |
| US10366183B2 (en) | 2015-12-01 | 2019-07-30 | The United States Of America As Represented By The Secretary Of The Army | System for modeling intelligent sensor selection and placement |
| US10112300B2 (en) | 2016-02-25 | 2018-10-30 | King Faud University Of Petroleum And Minerals | Apparatus and method of sensor deployment |
| US10591586B2 (en) | 2017-07-07 | 2020-03-17 | Infineon Technologies Ag | System and method for identifying a target using radar sensors |
| EP3938806A4 (en) * | 2019-03-11 | 2022-10-26 | Plato Systems, Inc. | RADAR DATA COLLECTION AND LABELING FOR MACHINE LEARNING |
| US11675066B2 (en) | 2019-08-08 | 2023-06-13 | Syracuse University | Motion detection and classification using ambient wireless signals |
| US20220291326A1 (en) | 2019-09-02 | 2022-09-15 | Iq Works Limited | A system and method for event recognition |
| US11575452B2 (en) | 2021-04-13 | 2023-02-07 | Qualcomm Incorporated | Passive positioning with radio frequency sensing |
-
2021
- 2021-04-13 US US17/229,805 patent/US11755886B2/en active Active
-
2022
- 2022-03-03 KR KR1020237034246A patent/KR20230169969A/ko unknown
- 2022-03-03 TW TW111107733A patent/TW202307458A/zh unknown
- 2022-03-03 CN CN202280027207.0A patent/CN117157552A/zh active Pending
- 2022-03-03 WO PCT/US2022/018796 patent/WO2022220947A1/en active Application Filing
- 2022-03-03 EP EP22711799.1A patent/EP4323797A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| TW202307458A (zh) | 2023-02-16 |
| US11755886B2 (en) | 2023-09-12 |
| US20220327360A1 (en) | 2022-10-13 |
| WO2022220947A1 (en) | 2022-10-20 |
| EP4323797A1 (en) | 2024-02-21 |
| CN117157552A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11755886B2 (en) | Passive positioning with radio frequency sensing labels | |
| KR102702245B1 (ko) | 라디오 주파수 감지를 이용한 패시브 포지셔닝 | |
| Alhomayani et al. | Deep learning methods for fingerprint-based indoor positioning: A review | |
| Hsieh et al. | Deep learning-based indoor localization using received signal strength and channel state information | |
| US11871299B2 (en) | Self-supervised passive positioning using wireless data | |
| US12022358B2 (en) | Self-supervised passive positioning using wireless data | |
| US11893317B2 (en) | Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area | |
| JP2017531811A (ja) | 無線測位システム | |
| US20230273291A1 (en) | Method, apparatus, and system for wireless monitoring with improved accuracy | |
| Ding et al. | Three-dimensional indoor localization and tracking for mobile target based on WiFi sensing | |
| US20220283296A1 (en) | Facial recognition using radio frequency sensing | |
| Gufran et al. | FedHIL: Heterogeneity resilient federated learning for robust indoor localization with mobile devices | |
| Luo et al. | Indoor smartphone SLAM with learned echoic location features | |
| Mostafa et al. | A survey of indoor localization systems in multi-floor environments | |
| KR20240009954A (ko) | 무선 데이터를 사용한 자기지도 수동 포지셔닝 | |
| Luo et al. | Indoor Smartphone SLAM With Acoustic Echoes | |
| Tiku | Secure, accurate, real-time, and heterogeneity-resilient indoor localization with smartphones | |
| US11906647B2 (en) | Person location determination using multipath | |
| Shi et al. | Design and implementation of non-intrusive stationary occupancy count in elevator with wifi | |
| Mamede | A Machine Learning Approach to Indoor Localization Using Bluetooth and Video Data | |
| Wang | Rf sensing for internet of things: When machine learning meets channel state information |