TW202415977A - 用於以雷達為基礎之手勢偵測器之使用者區分 - Google Patents
用於以雷達為基礎之手勢偵測器之使用者區分 Download PDFInfo
- Publication number
- TW202415977A TW202415977A TW112137358A TW112137358A TW202415977A TW 202415977 A TW202415977 A TW 202415977A TW 112137358 A TW112137358 A TW 112137358A TW 112137358 A TW112137358 A TW 112137358A TW 202415977 A TW202415977 A TW 202415977A
- Authority
- TW
- Taiwan
- Prior art keywords
- radar
- user
- computing device
- unregistered
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims description 72
- 230000005236 sound signal Effects 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 95
- 230000004069 differentiation Effects 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 210000002569 neuron Anatomy 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010017577 Gait disturbance Diseases 0.000 description 1
- 208000005408 Metatarsus Varus Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Radar Systems Or Details Thereof (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
在本文件中描述用於以雷達為基礎之手勢偵測器之使用者區分之技術及裝置。此等技術使一運算裝置能夠使用一雷達系統來區分使用者,該雷達系統可收集及分析一使用者之雷達特性以將該使用者與其他使用者進行區分。該等雷達特性可包含該使用者之雷達反射特徵,諸如形貌、時間、手勢及/或情境資訊。可在無需判定個人可識別資訊之情況下區分一使用者,且該運算裝置可記錄雷達特性以在一隨後時間區分各使用者且提供定製體驗。當偵測到一未註冊之人時,該雷達系統可向該未註冊之人指派含有所偵測雷達特性之一未註冊使用者識別以在一未來時間將此人與其他使用者進行區分。
Description
諸如隨著虛擬助理(VA)技術進入智慧家庭系統,利用VA技術之運算裝置愈來愈受歡迎。許多當前配備VA之裝置包含一人工智慧(AI)助理,其偵測由一使用者發出之一命令,且接著指示一裝置執行與該命令相關聯之一任務。例如,一裝置可偵測「開啟臥室燈」之一口頭命令(例如,使用一麥克風),且發送控制信號以開啟燈。
許多配備VA之裝置(例如,整合至智慧家庭系統中)具有多於一個使用者,且此等使用者之各者可希望在裝置上設定其等自身之偏好,保護其等之資訊不受其他使用者之影響,且以其等自身之方式執行命令。此意謂除區分命令之外,配備VA之裝置亦可需要區分使用者以提供個性化體驗。然而,一些裝置無法區分使用者,藉此減少配備VA之裝置之功能性。
本文件描述用於以雷達為基礎之手勢偵測器之使用者區分之技術及裝置。此等技術使一運算裝置能夠使用一雷達系統來區分使用者,該雷達系統可收集及分析一使用者之雷達特性以將該使用者與其他使用者進行區分。該等雷達特性可包含該使用者之雷達反射特徵,諸如形貌、時間、手勢及/或情境資訊。可在無需判定個人可識別資訊之情況下區分一使用者,該個人可識別資訊包含例如一法定姓名、生物測定資訊、一個人地址、面部細節、影像、語音轉文字分析等。該運算裝置可記錄此等雷達特性以在一隨後時間區分各使用者且提供定製體驗。當偵測到一新使用者(例如,一未註冊之人)時,該雷達系統可向該未註冊之人指派含有所偵測雷達特性之一未註冊使用者識別以將此人與其他使用者進行區分。
下文描述之態樣包含一種用於以雷達為基礎之手勢偵測器之使用者區分之方法、系統、設備及構件。該方法可包含:從與一運算裝置相關聯之一雷達系統發射一雷達發射信號;及在該雷達系統或與該運算裝置相關聯之另一雷達系統處接收一雷達接收信號。該運算裝置可從該雷達接收信號判定自其反射該雷達接收信號之一物件之一雷達特性。基於該物件之該雷達特性,該運算裝置亦可判定該物件係一未註冊之人,其並非與該運算裝置相關聯之一經註冊使用者。可將一未註冊使用者識別指派給該未註冊之人,其可與該物件之該雷達特性相關聯。可儲存該未註冊使用者識別及相關聯雷達特性以能夠在一未來時間判定該未註冊之人之一存在。可藉由將具有一類似或相同雷達特性之一未來接收之雷達接收信號與該未註冊之人之該相關聯雷達特性相互關聯來判定該存在。
概述
諸如隨著虛擬助理(VA)技術進入智慧家庭系統,利用VA技術之運算裝置愈來愈受歡迎。配備VA之裝置可使使用者能夠更容易地控制例如一房間中之燈、正在播放之音樂、行事曆提醒或電話交談。特定言之,此等裝置可偵測由一使用者發出之指示裝置執行一任務之一命令。可使用一麥克風或相機來偵測命令,且接著分別使用語音辨識技術或藉由識別視覺提示來提取(例如,針對一使用者之意圖來解譯)命令。例如,一使用者可提供「關閉臥室燈」之一語音命令,且裝置可解譯語音(例如,使用語音轉文字技術)以判定臥室燈應被關閉。
許多配備VA之裝置(例如,整合至智慧家庭系統中)具有多於一個使用者,且此等使用者之各者可希望在裝置上設定其等自身之偏好,保護其等之資訊不受其他使用者之影響,且以其等自身之方式執行命令。因此,使用者期望一定製體驗以幫助加快任務,實現各使用者之需求之較佳預測,且改良一使用者在裝置周圍之安全感。例如,一使用者可希望提供「查看我今天的行事曆」之一命令,而不必在每次其等靠近裝置時識別其等自身。
一些配備VA之裝置自動偵測及識別使用者,但使用侵入性之感測器及/或辨識技術。使用者可擔心其等圍繞在此等裝置之個人可識別資訊之私密性。例如,一相機可收集一使用者視為隱私之影像或視訊,藉此使使用者在裝置附近感到不適。一些裝置執行面部辨識技術,該等技術可用於識別及追蹤使用者,從而當一配備VA之裝置在附近時降低一使用者在其等家中放鬆之能力。針對利用麥克風之配備VA之裝置,一使用者可能想要知道該裝置是否正在監聽其等之私密對話且執行除旨在作為一命令之語音以外之對話之語音轉文字。
相關地,一使用者可期望用以基於對一房間中之個人之偵測來適應性地改變其等個人資訊之私密性之控制。例如,當一使用者獨自在一房間中時,其等可希望接收關於行事曆事件(例如,醫療預約)之音訊提醒。當使用者與一客人在該房間中時,其等可代替地希望裝置不自動播報提醒以使其等之行事曆資訊保持私密性。然而,許多裝置未為使用者提供適應性隱私控制,此可降低一使用者之個人資訊之私密性及/或限制裝置之功能性。
為了解決此等挑戰,本發明描述一種用於以雷達為基礎之手勢偵測器之使用者區分之方法。以雷達為基礎之手勢偵測器可主要利用一雷達系統來偵測由一使用者執行之手勢命令。本文中描述之技術藉由利用此以雷達為基礎之手勢偵測器來進行以下而改良裝備VA之裝置之效能:(1)在無需使用個人可識別資訊之情況下偵測及區分使用者,此實現一定製體驗,(2)基於使用者之各自訓練歷史來提示使用者開始或繼續手勢訓練,及(3)適應性地調整隱私控制以滿足一使用者對隱私之期望。以此方式,一使用者可在其等之家中享受以雷達為基礎之手勢偵測器之功能性。
實例環境
圖1繪示其中可使用技術之一實例序列100。此等技術可由經組態為一以雷達為基礎之手勢偵測器(例如,一配備VA之裝置)之一運算裝置102來執行。運算裝置102可用於透過手勢命令自動執行任務(例如,操作房間燈、控制正在一房間中播放之音樂、向使用者提醒預約)。例如,一使用者之手之一滑動可指示改變正在播放之歌曲之一命令,而一推拉手勢可指示查看廚房中之一定時器之狀態之一命令。運算裝置102可容許多個使用者104,其等之各者可享受使用運算裝置102之一定製體驗。此外,一第一運算裝置102-1可(例如,無線地)連接至另一運算裝置102-X (其中X表示2、3、4、...等之一整數值)以創建以雷達為基礎之手勢偵測器之一互連網路。此偵測器網路可經配置以偵測例如一智慧家庭之各種房間中之手勢命令。
特定言之,運算裝置102可:(1)在一附近區域106內偵測一使用者104之存在而無需個人地識別使用者104,(2)將使用者104與其他使用者進行區分以實現一定製體驗,及接著(3)在接收到來自使用者104之一手勢命令之後執行一操作。此外,或代替(3),運算裝置102可基於使用者104之訓練歷史來提示使用者104開始或繼續手勢訓練。在一個實例中,運算裝置102藉由將一所偵測物件之一雷達接收信號與一經註冊使用者之一或多個所儲存雷達特性相互關聯來偵測該經註冊使用者。接著,運算裝置102可在接收到一命令之後執行操作及/或可基於使用者之訓練歷史來提示其等繼續手勢訓練。
運算裝置102可使用一雷達系統108來發射一或多個雷達發射信號(例如,一射頻(RF)範圍內之經調變電磁(EM)波)以探測附近區域106之使用者存在。當在附近區域106內偵測到一物件(例如,一使用者104)時,一雷達發射信號可從使用者104反射且基於使用者104之形貌及運動而被修改(例如,在振幅、時間、相位或頻率上)。此經修改雷達發射信號(例如,一雷達接收信號)可由雷達系統108接收,且含有用於將使用者104與其他使用者進行區分之資訊。例如,雷達系統108可使用雷達接收信號來判定使用者104之一速率、體形、外形、表面平滑度或材料。雷達系統108亦可判定使用者104與運算裝置102之間之一距離及/或使用者104相對於運算裝置102之一定向。
雖然實例序列100之附近區域106被描繪為一半球,但一般言之,附近區域106不限於所展示之形貌。附近區域106之形貌亦可受到附近障礙物(例如,牆壁、大型物件)之影響。此外,雷達系統108可在實例序列100中描繪之附近區域106之外探測及偵測使用者。附近區域106之邊界亦可對應於一精確性臨限值,其中在此邊界內偵測到之使用者比在此邊界之外偵測到之使用者更有可能被精確地區分。
在實例序列100-1中,運算裝置102將一第一雷達發射信號發送至附近區域106中,且接著接收與一物件(例如,一第一使用者104-1)之存在相關聯之一第一雷達接收信號(例如,一經反射雷達發射信號)。此第一雷達接收信號可包含可用於將第一使用者104‑1與其他使用者104進行區分之一或多個雷達特性(例如,雷達橫截面(RCS)資料、運動特徵、手勢執行等)。特定言之,雷達系統108可將第一雷達接收信號與所儲存雷達特性進行比較以判定第一使用者104-1是否係一經註冊使用者。在此實例中,第一雷達接收信號與一經註冊使用者之一或多個所儲存雷達特性相互關聯。
為了改良一些配備VA之裝置,實例序列100-1中之運算裝置102可在判定所偵測物件係經註冊使用者時放棄「個人地識別」第一使用者104-1 (例如,識別第一使用者104-1之私密或個人可識別資訊)。例如,運算裝置102可在無需個人可識別資訊之情況下判定第一使用者104-1係經註冊使用者,該個人可識別資訊可包含法定可識別資訊(例如,一法定姓名)、一個人地址、生物測定資訊、金融資訊、一瀏覽歷史等。此外,運算裝置102可在判定第一使用者104-1係經註冊使用者時放棄識別第一使用者104-1之一個人裝置(例如,一行動電話、配備有一電子標籤之一裝置),收集面部辨識資訊,或執行潛在私密對話之語音轉文字。代替個人地識別第一使用者104-1,運算裝置102可使用不含機密資訊之雷達特性將第一使用者104與另一使用者(例如,一第二使用者104-2)進行「區分」,如關於圖4描述。
一使用者104可具備控制,所述控制容許使用者104選擇本文中描述之技術是否且何時可能能夠收集使用者資訊(例如,關於一使用者之社會網路、社會行動、社會活動、職業、由使用者拍攝之照片、由使用者錄製之音訊記錄、一使用者之偏好、一使用者之當前位置等之資訊)及是否從一伺服器向使用者104發送內容或通信。另外,某些資料可在其被儲存或使用之前以一或多種方式被處理,使得個人可識別資訊被移除。例如,可處理一使用者之識別,使得無法針對使用者104判定個人可識別資訊,或可在獲得位置資訊時一般化一使用者之地理位置(例如,至一城市、郵遞區號或州級),使得無法判定一使用者之一特定位置。因此,使用者104可控制收集關於使用者之什麼資訊、如何使用該資訊及將什麼資訊提供給使用者104。
在判定第一使用者104-1係經註冊使用者之後,運算裝置102可提示第一使用者104-1開始或繼續手勢訓練。例如,第一使用者104-1可處於訓練之半途,已完成關於一第一手勢之訓練。運算裝置102可已在一第一訓練歷史中儲存關於第一使用者104-1在訓練期間執行第一手勢之一方式之資訊。基於此第一訓練歷史(在實例序列100-1),運算裝置102可提示第一使用者104-1繼續關於一第二手勢之訓練,而非重複關於第一手勢之訓練。因此,判定第一使用者104-1係經註冊使用者可容許運算裝置102改良手勢訓練之效率。第一使用者104-1之區分亦可容許運算裝置102啟動經註冊使用者之設定(例如,隱私設定、偏好)以為第一使用者104-1提供一定製體驗。
在一隨後時間,用實例序列100-2展示,一第二使用者104-2在附近區域106內加入沙發上之第一使用者104-1。運算裝置102可使用雷達系統108來發送一第二雷達發射信號以偵測另一物件(例如,第二使用者104-2)之存在。接著,雷達系統108可將第二雷達接收信號與所儲存雷達特性進行比較以判定第二使用者104-2是否係一經註冊使用者。在此實例中,未發現第二雷達接收信號與一經註冊使用者(第一使用者104-1或某一其他經註冊使用者)之一或多個所儲存雷達特性相互關聯。因此,第二使用者104-2被區分為一未註冊之人。
在本發明中,一經註冊使用者係至少一個所儲存雷達特性與其相關聯且憑藉一先前註冊而對運算裝置102或與運算裝置102相關聯之一裝置、系統或應用程式具有大於不具有一先前註冊之一人之權限(例如,使用及存取裝置及應用程式)之一人。一先前註冊可係基於i)向運算裝置102或與運算裝置102相關聯之一裝置、系統或應用程式註冊之一先前接收意圖,或ii)重複使用運算裝置102或與運算裝置102相關聯之一裝置、系統或應用程式之一先前授權。在一些情況下,經註冊使用者或未註冊之人之一或多個所儲存雷達特性被本端地儲存,且在其他情況下被遠端地儲存,此係因為例如一人可期望其等之雷達特性僅被本端地儲存以解決隱私問題。例如,一先前訪客(例如,先前已由家中之運算裝置102偵測到之一客人)可具有一所儲存雷達特性,但不具有與一經註冊之人相關聯之權限。在另一實例中,一新訪客(例如,第一次遇到運算裝置102之訪客)可不具有所儲存雷達特性,且不具有與一經註冊之人相關聯之權限。
在判定第二使用者104-2係一未註冊之人之後,運算裝置102將一未註冊使用者識別(例如,假識別、偽識別)指派給此未註冊之人,其可與第二雷達接收信號之一或多個雷達特性相關聯。可儲存未註冊使用者識別以能夠在一未來時間區分第二使用者104-2。特定言之,未註冊使用者識別可用於將一未來接收之雷達接收信號與未註冊之人之一或多個相關聯雷達特性相互關聯。
類似於實例序列100-1中執行之技術,運算裝置102可放棄要求第二使用者104-2之個人可識別資訊來判定另一物件係未註冊之人。在已在實例序列100-2中區分第二使用者104-2及第一使用者104-1之後,運算裝置102可判定需要調適(例如,修改、限制)第一使用者104-1之隱私設定以確保第一使用者之資訊保持私密。例如,當第二使用者104-2存在時,第一使用者104-1可希望裝置避免播報行事曆提醒(例如,醫生預約)。另外,運算裝置102可提示第二使用者104-2開始手勢訓練,該手勢訓練可記錄在第二使用者104-2之一第二訓練歷史(例如,與未註冊使用者識別相關聯)中。雖然在第二使用者104-2之情境中提及,但該等技術不一定需要第一使用者104-1之個人可識別資訊。因此,當具有一所儲存雷達特性之一人註冊且因此成為一經註冊使用者時,此註冊可放棄個人可識別資訊,諸如該人之姓名。在此一情況下,可透過註冊獲得對運算裝置102或與運算裝置102相關聯之一裝置、系統或應用程式之權限。然而,在許多情況下,此等權限將少於潛在地給予已提供個人可識別資訊之一經註冊使用者之權限,諸如存取一金融應用程式之一權限。
例如,考量一經註冊使用者尚未提供個人可識別資訊之一情況,諸如該人之姓名或其他唯一識別符(例如,美國之一社會保險號碼)。此經註冊使用者仍可具有大於一未註冊使用者之權限。一種此情況係,作為向運算裝置102註冊之部分,一人提供與運算裝置102而非該人相關聯之一密碼或其他代碼。例如,運算裝置102可包含對運算裝置102之購買者可用(諸如當購買時在運算裝置102所在之盒內)之一代碼或其他指示符。本質上,運算裝置102可具有可供一人使用之一代碼或資訊以展示該人具有相對於一陌生人之額外權限。雖然此可能不足以允許存取高度敏感或個人特定之應用程式及帳戶(如一金融帳戶),但其可允許存取以控制與運算裝置102所放置或相關聯之一家庭或汽車相關聯之裝置及應用程式。因此,在提交與運算裝置102或另一裝置一起出售之一密碼(諸如一烤箱或音響之序列號)時,在提交此等識別符之一者時,與該裝置相關聯之權限可被授予經註冊使用者。
藉由進一步實例,假定一人購買一配備VA之裝置來管理其等之家。此配備VA之裝置包含一密碼。當裝備VA之裝置獲得該人之一雷達特性時或與之相對應,該人提交密碼。此接著容許現經註冊之使用者透過配備VA之裝置來控制家庭,諸如音響、烤箱、門鎖、恆溫器及家庭保全系統。在此實例中,此等權限係在無需該人之姓名或其他唯一識別符之情況下啟用。如此做,一人可維護其等之隱私,且仍具有透過其等配備VA之裝置(例如,運算裝置102)來控制裝置及應用程式之權限。
返回至先前實例,假定在一隨後時間(圖1中未描繪),運算裝置102再次使用雷達系統108來發送一第三雷達發射信號以偵測一使用者104是否在附近區域106內。若此時一使用者104 (例如,第一使用者104-1、第二使用者104-2)存在,則第三雷達發射信號可從使用者104反射,且運算裝置102可接收包含雷達特性之一第三雷達接收信號。雷達系統108可將此等雷達特性與例如第一使用者104-1 (經註冊使用者)及第二使用者104-2 (與未註冊使用者識別相關聯之未註冊之人)之所儲存雷達特性進行比較以判定第一使用者104-1或第二使用者104-2是否存在。基於此判定,運算裝置102可相應地定製設定及訓練提示,諸如基於第一使用者104-1被註冊(例如,具有運算裝置102之一帳戶)且第二使用者104-2未被註冊(例如,係經註冊使用者之一客人或朋友)而不同之設定及訓練提示。
在一實例中,雷達系統108基於第一使用者104-1 (經註冊使用者)之所儲存雷達特性使用第三雷達接收信號來判定附近區域106內第一使用者104-1再次存在。接著,運算裝置102可提示第一使用者104-1基於第一訓練歷史來完成其等之手勢訓練及/或啟動其等之使用者設定。替代地,若雷達系統108判定附近區域106內第二使用者104-2 (未註冊之人) 再次存在,則運算裝置102可基於第二訓練歷史來提示第二使用者104-2繼續其等之手勢訓練及/或啟動預定使用者設定。參考圖2進一步描述運算裝置102及雷達系統108。
實例運算裝置
圖2繪示作為運算裝置102之部分之雷達系統108之一實例實施方案200。運算裝置102用各種非限制性實例裝置202繪示,包含一家庭自動化及控制系統202-1、一桌上型電腦202-2、一平板電腦202-3、一膝上型電腦202-4、一電視機202-5、一運算手錶202-6、運算眼鏡202-7、一遊戲系統202-8及一微波爐202-9。亦可使用其他裝置,包含一家庭服務裝置、一智慧型揚聲器、一智慧型恆溫器、一保全相機、一嬰兒監視器、一Wi-Fi
®路由器、一無人機、一軌跡墊、一繪圖板、一小筆電、一電子閱讀器、一家庭自動化及控制系統、一壁式顯示器、一虛擬實境耳機、一車輛及另一家用電器。應注意,運算裝置102可為可穿戴、不可穿戴但行動或相對固定(例如,桌上型電腦及電器)。
運算裝置102可包含一或多個處理器204及一或多個電腦可讀媒體(CRM) 206,該一或多個電腦可讀媒體(CRM) 206可包含記憶體媒體及儲存媒體。體現為CRM 206上之電腦可讀指令之應用程式及/或一作業系統(未展示)可由處理器204執行以提供本文中描述之一些功能性。CRM 206亦可包含一以雷達為基礎之應用程式208,其使用由雷達系統108產生之資料來執行功能,諸如以手勢為基礎之控制。例如,雷達系統108可偵測由一使用者104執行之一手勢,該手勢指示關閉一房間中之燈之一命令。此命令資料可由以雷達為基礎之應用程式208使用來發送控制信號(例如,觸發器)以關閉房間中之燈。
運算裝置102亦可包含用於透過有線、無線或光學網路傳送資料之一網路介面210。針對多個運算裝置102-X之一互連系統,各運算裝置102可透過網路介面210與另一運算裝置102通信。例如,網路介面210可透過一區域網路(LAN)、一無線區域網路(WLAN)、一個人區域網路(PAN)、一有線區域網路(WAN)、一內部網路、網際網路、一對等網路、點對點網路、一網狀網路及類似物傳送資料。多個運算裝置102-X可使用一通信網路彼此通信,如參考圖3描述。運算裝置102亦可包含一顯示器(未展示)。
雷達系統108可被用作一獨立雷達系統或與許多不同運算裝置或周邊器件一起使用或嵌入許多不同運算裝置或周邊器件內,諸如在控制家用電器及系統之控制面板中、在汽車中控制內部功能(例如,音量、巡航控制或甚至汽車之駕駛)或作為一膝上型電腦之一附件來控制膝上型電腦上之運算應用程式。
雷達系統108可包含一通信介面212以將雷達資料(例如,雷達特性)發射至一遠端裝置,但當雷達系統108整合在運算裝置102內時,此可不被使用。一般言之,由通信介面212提供之雷達資料可呈可由以雷達為基礎之應用程式208使用之一格式。
雷達系統108亦可包含用於發射及/或接收雷達信號之至少一個天線214。在一些情況下,雷達系統108可包含被實施為一天線陣列之天線元件之多個天線214。天線陣列可包含至少一個發射天線元件及至少一個接收天線元件。在一些情況下,天線陣列可包含多個發射天線元件以實施一多輸入多輸出(MIMO)雷達,其能夠在一給定時間發射多個相異波形(例如,每發射天線元件一不同波形)。針對包含三個或更多個接收天線元件之實施方案,接收天線元件可定位成一維形狀(例如,一線)或二維形狀(例如,一三角形、一矩形或一L形形狀)。一維形狀可使雷達系統108能夠量測一個角度尺寸(例如,一方位角或一仰角),而二維形狀可能夠量測兩個角度尺寸(例如,方位角及仰角兩者)。各天線214可替代地經組態為一傳感器或收發器。此外,任何一或多個天線214可經圓極化、水平極化或垂直極化。
使用天線陣列,雷達系統108可形成轉向或非轉向、寬或窄或經塑形(例如,作為一半球、立方體、扇形、圓錐體或圓柱體)之波束。一或多個發射天線元件可具有非轉向全向輻射型樣,或可能夠產生一寬可轉向波束。此等技術之任一者可使雷達系統108能夠照明大體積之空間。為了達成目標角度精確性及角度解析度,接收天線元件可用於用數位波束成形來產生數千個窄轉向波束(例如,2000個波束、4000個波束或6000個波束)。以此方式,雷達系統108可高效地監測一外部環境且偵測來自一或多個使用者104之手勢。
雷達系統108亦可包含至少一個類比電路216,該類比電路216包含用於使用至少一個天線214發射及接收雷達信號之電路系統及邏輯。類比電路216之組件可包含用於調節雷達信號之放大器、混頻器、交換器、類比轉數位轉換器、濾波器等。類比電路216亦可包含用以執行同相/正交(I/Q)操作(諸如調變或解調)之邏輯。可使用各種調變來產生雷達信號,包含線性頻率調變、三角頻率調變、步進頻率調變或相位調變。類比電路216可經組態以支援連續波或脈衝雷達操作。
類比電路216可在包含介於1吉赫(GHz)與400 GHz之間、介於1 GHz與24 GHz之間、介於2 GHz與6 GHz之間、介於4 GHz與100 GHz之間或介於57 GHz與63 GHz之間之頻率之一頻譜(例如,頻率範圍)內產生雷達信號。在一些情況下,頻譜可被劃分為具有類似或不同頻寬之多個子頻譜。實例頻寬可為約500兆赫(MHz)、1吉赫(GHz)、2吉赫等。不同子頻譜可包含例如介於約57 GHz與59 GHz、59 GHz與61 GHz或61 GHz與63 GHz之間之頻率。儘管上文描述之實例子頻譜係連續的,然其他子頻譜可不連續。為了達成同調性,可由類比電路216使用具有一相同頻寬之多個子頻譜(連續或不連續)來產生多個雷達信號,該等雷達信號同時或在時間上分開發射。在一些情況下,多個連續子頻譜可用於發射一單一雷達信號,藉此使雷達信號能夠具有一寬頻寬。
雷達系統108亦可包含一或多個系統處理器218及一系統媒體220 (例如,一或多個電腦可讀儲存媒體)。例如,系統處理器218可在類比電路216內實施為一數位信號處理器或一低功率處理器。系統處理器218可執行儲存於系統媒體220內之電腦可讀指令。由系統處理器218執行之實例數位操作可包含快速傅立葉(Fourier)變換(FFT)、濾波、調變或解調、數位信號產生、數位波束成形等。
系統媒體220可視情況包含一使用者偵測模組222及一手勢偵測模組224,其等可使用硬體、軟體、韌體或其等之一組合來實施。使用者偵測模組222及手勢偵測模組224可使雷達系統108能夠處理雷達接收信號(例如,在類比電路216處接收之電信號)以分別偵測一使用者104之存在及偵測由一使用者104執行之一手勢命令。
使用者偵測模組222及手勢偵測模組224可包含一或多個人工神經網路(本文中被稱為神經網路)以分別改良使用者區分及手勢辨識。一神經網路可包含一群組之經連接節點(例如,神經元或感知器),其等被組織成一或多個層。作為一實例,使用者偵測模組222及手勢偵測模組224可包含一深度神經網路,該深度神經網路包含一輸入層、一輸出層及定位於輸入層與輸出層之間之一或多個隱藏層。深度神經網路之節點可在層之間部分連接或完全連接。
在一些情況下,深度神經網路可為一遞迴深度神經網路(例如,一長短期(LSTM)遞迴深度神經網路),其中節點之間之連接形成一循環以針對一輸入資料序列之一後續部分保留來自該輸入資料序列之一先前部分之資訊。在其他情況下,深度神經網路可為一前饋深度神經網路,其中節點之間之連接未形成一循環。另外或替代地,使用者偵測模組222及手勢偵測模組224可包含另一類型之神經網路,諸如一卷積神經網路。關於圖7進一步描述一實例深度神經網路。使用者偵測模組222及手勢偵測模組224亦可包含一或多種類型之迴歸模型,諸如一單一線性迴歸模型、多個線性迴歸模型、邏輯迴歸模型、逐步迴歸模型、多變量適應性迴歸樣條、局部估計散佈圖平滑模型等。
一般言之,可基於可用功率、可用記憶體或運算能力來定製一機器學習架構。針對使用者偵測模組222,亦可基於雷達系統108經設計以辨識之一定數量之雷達特性來定製機器學習架構。針對手勢偵測模組224,可另外基於雷達系統108經設計以辨識之一定數量之手勢來定製機器學習架構。
運算裝置102可視情況(未描繪)包含至少一個額外感測器(相異於天線214)以改良使用者偵測模組222及/或手勢偵測模組224之保真度。在一些情況下,例如,使用者偵測模組222可以低確定性(例如,低於一臨限值之一定量之確定性)來區分一使用者104之存在。例如,當使用者104遠離運算裝置102時,或當存在大型物件(例如,傢俱)遮擋使用者104時,此可發生。為了增加使用者區分之精確性,運算裝置102可使用一或多個額外感測器來驗證一低確定性結果,如關於圖8描述。額外感測器可包含例如一麥克風、一揚聲器、一超音波感測器、一環境光感測器、一相機、一氣壓計、一恆溫器、一光學感測器等。類似於由雷達系統108執行之操作,此等感測器可在將一使用者104與運算裝置102之其他使用者進行區分時放棄偵測、收集或啟用儲存該使用者之一人類識別。多個運算裝置102-X亦可經連接(例如,無線地)以創建一運算系統,如關於圖3進一步描述。
實例運算系統
圖3繪示其中多個運算裝置102-X透過一通信網路302連接以形成一運算系統之一實例環境300。實例環境300描繪具有一第一房間304-1 (一客廳)及一第二房間304-2 (一廚房)之一家庭。第一房間304-1配備有包含一第一雷達系統108-1之一第一運算裝置102-1,且第二房間304-2配備有包含一第二雷達系統108-2之一第二運算裝置102-2。在此實例中,第一房間304-1與第二房間304-2分開,但透過家庭之一門連接。第一房間304-1中之第一運算裝置102-1可在一第一附近區域106-1內偵測使用者104及手勢。而第二房間304-2中之第二運算裝置102-2可在一第二附近區域106-2內偵測使用者104及手勢。
實例環境300之家庭可不限於所展示之運算裝置102之配置及數量。一般言之,一環境(例如,一家庭、建築物、工作場所、汽車、飛機)可包含分佈遍及一或多個房間304之一或多個運算裝置102。例如,一房間304可含有兩個或更多個運算裝置102,其等在房間304中定位於彼此附近或彼此遠離。雖然實例環境300中描繪之第一附近區域106-1在空間上不與第二附近區域106-2重疊,但一般言之,附近區域106亦可經定位以部分重疊。雖然圖3中描繪之環境係一家庭,但一般言之,環境可包含私密或公共之任何室內及/或室外空間,諸如一圖書館、一辦公室、一工作場所、一工廠、一花園、一餐館、一露臺、一飛機、一車輛等。
針對具有兩個或更多個運算裝置102之一環境,該等裝置可透過一或多個通信網路302彼此通信。一通信網路302可為一LAN、WAN、行動或蜂巢式通信網路、一外部網路、一內部網路、網際網路、一Wi-Fi
®網路等。在一些實施例中,運算裝置102可使用短程通信進行通信,諸如例如近場通信(NFC)、射頻識別(RFID)、藍牙等。此外,一運算系統可包含一或多個記憶體,該一或多個記憶體與組成運算裝置102-1或102-2之一或多者分開或整合至其中。在一個實例中,一第一運算裝置102-1及一第二運算裝置102-2可分別包含一第一記憶體及一第二記憶體,其中各記憶體之內容在使用通信網路302之裝置之間共用。在另一實例中,一記憶體可與第一運算裝置102-1及第二運算裝置102-2分開(例如,雲端儲存器),但可供兩個裝置存取。一記憶體可用於例如儲存一使用者104之雷達特性、使用者偏好、安全設定、訓練歷史、未註冊使用者識別等。
在一實例中,第一運算裝置102-1可使用一第一網路介面210-1連接至通信網路302以與第二運算裝置102-2交換資訊。使用此通信網路302,運算裝置102可交換關於一或多個使用者104之所儲存資訊,該資訊可包含雷達特性、訓練歷史、使用者設定等。此外,運算裝置102可交換關於正在進行之操作之資訊(例如,定時器、正在播放之音樂)以保持跨各個房間304之操作及/或關於操作之資訊之連續性。此等操作可由一或多個運算裝置102基於例如對一房間304中之一使用者之存在之偵測同時或獨立執行。運算裝置102可使用雷達系統108來偵測一使用者之存在,如關於圖4進一步描述。
啟用雷達之使用者偵測
圖4繪示其中由一運算裝置102使用一雷達系統108來偵測一使用者104之存在之一實例環境400。類似於關於實例序列100之論述,雷達系統108可發射一或多個雷達發射信號402以探測一附近區域106之使用者104。例如,雷達系統108可用在1千赫(kHz)至10 kHz之頻率下操作之一寬150°雷達脈衝波束(例如,雷達發射信號)照射進入附近區域106之一使用者104。雖然可在本發明中參考一雷達發射信號402,但應理解,雷達系統108亦可在一段時間內發射一組雷達發射信號402。
在遇到使用者104之後,與雷達發射信號402相關聯之能量之一部分可在一或多個雷達接收信號404-Y (其中Y可表示1、2、3、…之一整數值)中被反射返回朝向雷達系統108。在實例環境400中,三個雷達接收信號404-1、404-2及404-3被描繪為從三個離散動態散射中心反射。各雷達接收信號404可表示雷達發射信號402之一經修改版本,其中一振幅、時間、相位或頻率在各動態散射中心處被修改。此等雷達接收信號404之一疊加可容許雷達系統108使用例如一徑向距離、幾何形狀(例如,體型、外形、身高)、定向、表面紋理、材料組合物等來區分使用者104,如關於圖5進一步描述。
圖5繪示雷達系統108之天線214、類比電路216及系統處理器218之一實例實施方案500。在所描繪組態中,類比電路216可耦合在天線214與系統處理器218之間以實現使用者偵測及手勢偵測兩者之技術。類比電路216可包含配備有一波形產生器504之一發射器502及包含至少一個接收頻道508之一接收器506。波形產生器504及接收頻道508可各自耦合在天線214與系統處理器218之間。
雖然在實例實施方案500中描繪一個天線214,但一般言之,雷達系統108可包含一或多個天線以形成一天線陣列。當利用一天線陣列時,波形產生器504可針對各天線214產生類似或相異波形以發射至附近區域106中。此外,雖然在實例實施方案500中描繪一個接收頻道508,但一般言之,雷達系統108可包含一或多個接收頻道。各接收頻道508可經組態以在任何給定時間接受一單一或多個雷達接收信號404-Y。
在操作期間,發射器502可將電信號傳遞至天線214,該天線214可發射一或多個雷達發射信號402以探測一附近區域106之使用者存在及/或手勢命令。特定言之,波形產生器504可產生具有一指定波形(例如,指定振幅、相位、頻率)之電信號。波形產生器504可另外將關於電信號之資訊傳送至系統處理器218以進行數位信號處理。若雷達發射信號402與一使用者104互動,則雷達系統108可在接收頻道508上接收一或多個雷達接收信號404-Y。此等雷達接收信號404-Y可被發送至系統處理器218以啟用使用者偵測(使用使用者偵測模組222)及/或手勢偵測(使用手勢偵測模組224)。使用者偵測模組222可判定一使用者104是否定位於附近區域106內,且接著將使用者104與其他使用者進行區分。可基於一或多個雷達接收信號404-Y來區分(但並不個人地識別)一使用者104,如關於圖6進一步描述。
啟用雷達之使用者區分
圖6繪示其中使用者偵測模組222可區分使用者104之實例實施方案600-1至600-4。使用者偵測模組222可部分利用一或多個雷達接收信號404來區分例如第一使用者104-1及第二使用者104-2,而無需個人地識別第一使用者104-1或第二使用者104-2 (例如,一法定姓名、面部辨識資訊、生物測定資訊、個人地址、個人行動裝置等)。藉由區分使用者104,使用者偵測模組222可使運算裝置102能夠為各使用者104提供一定製體驗,該體驗回顧例如訓練歷史、偏好、隱私設定等。以此方式,運算裝置102可藉由滿足各使用者之隱私及功能性期望來改良一些配備VA之裝置。
為了區分使用者104,使用者偵測模組222可分析雷達接收信號404以判定一使用者104之(1)形貌區分、(2)時間區分、(3)手勢區分及/或(4)情境區分。使用者偵測模組222不限於圖6中描繪之四個區分類別,且可包含未展示之其他雷達特性及/或類別。此外,四個區分類別被展示為實例類別,且可經組合及/或修改以包含實現本文中描述之技術之子類別。
在實例實施方案600-1中,使用者偵測模組222可部分使用形貌資訊以在偵測到一使用者104在一附近區域106內之後區分使用者104。此形貌資訊可包含RCS資料,該RCS資料包含例如一使用者104之一身高、外形或體型。例如,一第一使用者104-1 (例如,父親)可明顯大於一第二使用者104-2 (例如,孩子)。當父親及孩子進入附近區域106時,雷達系統108可獲得指示各使用者之存在之雷達接收信號404。此等雷達接收信號404可部分包含指示各使用者之身高、外形或體型之雷達特性。在此實例中,父親之雷達特性可相異於孩子之雷達特性。接著,使用者偵測模組222可將各使用者之雷達特性與所儲存雷達特性進行比較以判定父親及孩子是否係經註冊使用者、具有一所儲存雷達特性之未註冊之人或不具有所儲存雷達特性之未註冊之人。
在此實例中,使用者偵測模組222可判定第一使用者104-1 (父親)係先前與運算裝置102互動之一經註冊使用者。特定言之,使用者偵測模組222可將父親之所儲存雷達特性(例如,保存至由多個運算裝置102-X共用之一記憶體)與一或多個雷達接收信號404相互關聯以判定其係一經註冊使用者。在判定第一使用者104-1係一經註冊使用者之後,運算裝置102可啟動父親之設定、提示父親繼續手勢訓練(基於父親之訓練歷史)等。
使用者偵測模組222亦可判定第二使用者104-2 (孩子)係先前尚未與運算裝置102互動之一未註冊之人。特定言之,使用者偵測模組222可將經註冊使用者及未註冊之人之所儲存雷達特性與含有第二使用者104-2之雷達特性之一或多個雷達接收信號404進行比較。在判定第二使用者104-2之雷達特性不與任何所儲存雷達特性相互關聯(例如,假定某一級別之保真度)之後,使用者偵測模組222可判定孩子係一未註冊之人。代替個人地識別孩子,雷達系統108可為孩子指派含有此等雷達特性之一未註冊使用者識別,使得可在一未來時間將孩子與其他使用者(例如,父親)進行區分。運算裝置102亦可提示孩子開始手勢訓練及/或實施預定設定(例如,標準偏好、由運算裝置102之一擁有者程式化之設定)。
一般言之,可收集及保存經註冊使用者(及未註冊之人)之所儲存雷達特性。例如,雷達系統108可在一使用者104每次與運算裝置102互動時記錄雷達特性以改良使用者辨識。一使用者104之所儲存雷達特性可包含從與該使用者104相關聯之一或多個雷達接收信號404推斷之形貌、時間、手勢及/或情境資訊。另外,雷達系統108可利用由使用者偵測模組222使用之一或多個模型以基於各使用者104之對應雷達特性來區分各使用者104。此一或多個模型可包含一機器學習(ML)模型、述詞邏輯、滯後邏輯等以改良使用者區分。
在實例實施方案600-2中,使用者偵測模組222可部分使用時間資訊以在偵測到一使用者104在附近區域106內之後區分使用者104。不同於可需要高空間解析度之傳統雷達偵測器,本發明之雷達系統108可更依賴於時間解析度(而非空間解析度)來偵測及區分一使用者104。以此方式,雷達系統108可藉由偵測例如一運動特徵(例如,一使用者104通常移動之一相異方式)來偵測使用者104移動至一附近區域106中。一運動特徵可包含一步態(在實例實施方案600-2之標繪圖中描繪)、肢體運動(例如,對應手臂移動)、重量分佈、呼吸特性、獨特習慣等。例如,一使用者之運動特徵可包含跛行、充滿活力之步伐、內八字行走、膝內翻、弓形腿等。使用此資訊,使用者偵測模組222可能夠偵測使用者之運動(例如,其等之手之一移動),而無需識別可被視為隱私之細節(例如,實現面部辨識之面部特徵)。當與例如執行面部辨識或語音轉文字技術之裝置相比時,由雷達系統108對運動特徵之偵測可使使用者能夠維持更大匿名性。
在實例實施方案600-3中,使用者偵測模組222亦可部分使用手勢執行資訊來區分一使用者104。當利用與手勢執行相關聯之雷達特性時,使用者偵測模組222可與手勢偵測模組224通信。一使用者可以可幫助區分該使用者104之一獨特方式執行一手勢(例如,一推拉手勢)。例如,一推拉手勢可包含在一方向上推動使用者之手,緊接著在相反方向上拉動其等之手。雖然雷達系統108可期望推動及拉動運動係互補的(例如,運動範圍相等,速度相等),但使用者104可以不同於期望之方式執行運動。各使用者可以一獨特方式執行此手勢,此被記錄在裝置上用於使用者區分及手勢解譯。
如實例實施方案600-3中描繪,當與一第二使用者104-2 (例如,孩子)相比時,一第一使用者104-1 (例如,父親)可以一不同方式執行一推拉手勢。例如,第一使用者104-1可以一第一速度將其等之手推動至一第一範圍(例如,距離),但以一第二速度將其等之手拉回至一第二範圍。第二範圍可包含短於第一範圍之一距離,且第二速度可遠慢於第一速度。雷達系統108可經組態以基於第一使用者之訓練歷史(若可用)來辨識此獨特推拉手勢。
當區分第一使用者104-1時,雷達系統108可接收一或多個雷達接收信號404,該一或多個雷達接收信號404包含與第一使用者104-1對推拉手勢之執行相關聯之第一使用者104-1之雷達特性。使用者偵測模組222可將此等雷達特性與經註冊使用者之所儲存雷達特性進行比較以判定是否存在相互關聯。若存在相互關聯(例如,假定某一級別之保真度),則使用者偵測模組222可基於推拉手勢之執行來判定第一使用者104-1係一經註冊使用者(父親)。類似於關於實例實施方案600-1之論述,運算裝置102可接著啟動父親之設定,提示父親繼續手勢訓練等。在此實例中,假定父親在過去至少執行一次推拉手勢,且該執行之雷達特性被記錄在父親之訓練歷史中以在隨後部分能夠將父親之存在與其他使用者之存在進行區分。
亦如實例實施方案600-3中描繪,第二使用者104-2 (孩子)亦可嘗試執行推拉手勢。第二使用者104-2可以第一速度將其等之手推動至第一範圍,但以一第三速度將其等之手拉回至一第三範圍。在此實例中,第三範圍可遠大於第一範圍,且第三速度可遠快於第一速度。特定言之,雷達系統108可接收一或多個雷達接收信號404,該一或多個雷達接收信號404包含與此推拉手勢之執行相關聯之第二使用者104-2之雷達特性。使用者偵測模組222可將此等雷達特性與所儲存雷達特性進行比較以判定是否存在相互關聯。類似於關於實例實施方案600-1之論述,使用者偵測模組222可判定第二使用者104-2之推拉手勢不與經註冊使用者之所儲存雷達特性(例如,訓練歷史)相互關聯。因此,使用者偵測模組222可判定孩子係一未註冊之人,且向孩子指派一未註冊使用者識別。然而,與孩子之推拉手勢相關聯之雷達特性可包含於未註冊使用者識別中以實現未來區分。
使用者偵測模組222亦可部分使用情境資訊來區分使用者104。情境資訊可包含由使用者偵測模組222使用例如一天線214、運算裝置102之另一感測器、儲存於一記憶體上之資料(例如,使用者習慣)、本端資訊(例如,一時間、一相對位置)等判定之相關細節(例如,與雷達特性互補)。在實例實施方案600-4中,使用者偵測模組222可使用當地時間作為情境以能夠區分一使用者之存在。若一使用者104 (例如,父親)持續在每天下午5:30坐在客廳沙發上,則使用者偵測模組222可記錄此習慣以改良使用者區分。每當在下午5:30在沙發上偵測到使用者104時,雷達系統108可部分使用此情境資訊來將此使用者104區分為父親。在另一實例中,若運算裝置102定位於一孩子之房間中,則雷達系統108可隨著時間之推移判定孩子係此房間中之最常見使用者。該情境資訊可用於實現使用者區分。類似地,若運算裝置102定位於一共用空間(例如,一後院、一入口)中,雷達系統108可隨著時間之推移判定未註冊之人(例如,客人、保姆、管家、園丁、朋友)在此區域中係常見的。
由使用者偵測模組222收集之情境資訊可單獨用於區分一使用者104,或與形貌資訊、時間資訊及/或手勢資訊組合使用。一般言之,使用者偵測模組222可在任何時間以任何組合使用所描繪之區分類別之任何一或多者來區分一使用者104。例如,雷達系統108可收集關於已進入附近區域106但缺少手勢及情境資訊之一使用者104之形貌及時間資訊。在此情況下,使用者偵測模組222可基於形貌資訊及時間資訊之分析來區分使用者104。在另一情況下,雷達系統108可收集形貌及時間資訊,但判定該資訊不足以正確區分使用者104 (例如,達到一定級別之確定性)。若情境資訊係可用的,則雷達系統108可利用該情境來區分使用者104 (類似於實例實施方案600-4)。圖6中描繪之任何一或多個類別可優先於另一類別。
使用者偵測模組222可利用一或多個邏輯系統(例如,包含述詞邏輯、滯後邏輯等)來改良使用者區分。邏輯系統可用於使某些使用者區分技術優先於其他技術(例如,使時間區分優先於情境資訊),當依賴於兩個或更多個區分類別時將權重(例如,置信度)添加至某些結果,等等。例如,使用者偵測模組222可以低確定性來判定一第一使用者104-1可為一經註冊使用者。一邏輯系統可判定低確定性係低於一所容許臨限值(例如,限制),且代替地提示雷達系統108發送出一第二雷達發射信號402 (或在一段時間內發射之信號組)以再次探測附近區域106。使用者偵測模組222亦可包含一或多個ML模型以改良使用者區分,如關於圖7進一步描述。
圖7繪示用於區分一運算裝置102之使用者104之一ML模型之一實例實施方案700。在所描繪組態中,ML模型被實施為一深度神經網路,且可包含一輸入層702、多個隱藏層704及一輸出層706。輸入層702可包含多個輸入708-1、708-2…708-N,其中N表示等於與一或多個雷達接收信號404相關聯之雷達特性710之一數量之一正整數。多個隱藏層704可包含層704-1、704-2…704-M,其中M表示一正整數。各隱藏層704可包含多個神經元,諸如神經元712-1、712-2…712-Q,其中Q表示一正整數。各神經元712可連接至一先前隱藏層704或下一隱藏層704中之至少一個其他神經元712。神經元712之一數量可在不同隱藏層704之間類似或不同。在一些情況下,一隱藏層704可為一先前層之一複製物(例如,層704-2可為層704-1之一複製物)。輸出層706可包含與可已在附近區域106內偵測到之一經區分使用者716 (例如,一經註冊使用者、一未註冊之人)相關聯之輸出714-1、714-2…714-N。
一般言之,各種不同深度神經網路可用不同數量之輸入708、隱藏層704、神經元712及輸出714來實施。ML模型內之層之一數量可係基於雷達特性及/或區分類別之數量(如圖6中描繪)。作為一實例,ML模型可包含四個層(例如,一個輸入層702、一個輸出層706及兩個隱藏層704)以將一第一使用者104-1與一第二使用者104-2進行區分,如關於實例序列100及實例實施方案600描述。替代地,隱藏層之數量可為約100。
當由使用者偵測模組222利用時,一ML模型可改良使用者區分之保真度。ML模型可隨著時間之推移收集多個輸入708 (例如,與一或多個雷達接收信號404相關聯之雷達特性710),其包含關於一使用者104之形貌、時間、手勢及/或情境資訊。例如,在與運算裝置102之第一次互動期間,第二使用者104-2 (例如,孩子)可經定位為遠離雷達系統108,從而導致用於將孩子區分為一未註冊之人之一第一組輸入708。第一組輸入708可包含於指派給孩子之未註冊使用者識別中。在第二次互動中,孩子可坐在雷達系統108附近,從而導致用於區分孩子之一第二組輸入708。此第二組輸入708相異於第一組,且亦可包含於孩子之未註冊使用者識別中。此程序可隨著時間繼續,從而為ML模型提供更多輸入708以在一未來時間更佳地(例如,以更高精確性、更快速度)區分孩子。
手勢偵測模組224亦可在訓練期間收集一使用者104之手勢執行資訊作為至ML模型之輸入以使使用者偵測模組222能夠基於手勢執行來區分使用者。若第一使用者104-1在訓練期間執行推拉手勢四次,則可存在至ML模型之至少四個輸入708-1、708-2、708-3及708-4。當第一使用者104-1 (例如,父親)在一未來時間執行推拉手勢時,使用者偵測模組222可部分利用ML模型之一或多個輸出714來區分該第一使用者104-1。
一般言之,ML模型可整合至使用者偵測模組222、雷達系統108、運算裝置102中,或與運算裝置102分開定位(例如,一共用伺服器)。手勢偵測模組224亦可包含一類似ML模型,該類似ML模型可改良由一使用者104執行之手勢之偵測及區分。例如,手勢偵測模組224可偵測由一第一使用者104-1執行之一推拉手勢,且接著利用ML模型輸出714來將手勢解譯為一命令。手勢偵測模組224之操作可與由使用者偵測模組222執行之操作同時執行或在一分開的時間執行。亦可使用運算裝置102之額外感測器(例如,非雷達感測器)來改良使用者區分之保真度,如關於圖8進一步描述。
改良使用者區分之保真度之選用感測器
圖8繪示使用一額外感測器(例如,一麥克風802)來改良使用者區分之保真度之一運算裝置102之一實例實施方案800。在一些情況下,與一附近物件(例如,一經註冊使用者或未註冊之人)相關聯之雷達特性可未提供足夠資訊來區分一使用者104達一特定級別之確定性。如實例實施方案800中描繪,使用者偵測模組222可無法僅基於雷達及/或上文描述之其他特性來確定地判定第一使用者104-1係一經註冊使用者(例如,父親)。在此情況下,運算裝置102可自舉啟動音訊信號804 (例如,由第一使用者104-1產生之聲波)以使雷達系統108能夠判定父親存在。
如實例實施方案800中描繪,使用者偵測模組222可透過一麥克風802接收音訊信號804,且分析此等聲波之特性(例如,波長、振幅、時段、頻率、速率、速度)以判定哪一使用者存在於附近區域106中。此分析可在被觸發時執行、自動執行、與雷達特性之分析同時或之後執行,等等。音訊信號804在由使用者偵測模組222接收之前可由額外電路系統及/或組件修改。
使用者偵測模組222可在未存取私密資訊(例如,對話內容)之情況下分析音訊信號804以區分使用者。例如,雷達系統108可在無需識別所說出之字詞(例如,執行語音轉文字)之情況下特性化音訊信號804以區分第一使用者104-1之存在。雷達系統108亦可依據音高、響度、音調、音色、韻律、協和音、不協和音、型樣等來特性化音訊信號804。因此,使用者104可在運算裝置102附近舒適地談論私密資訊,而無需擔心裝置是否正在識別所說出之字詞、語句、想法等。
運算裝置102可儲存一或多個使用者104之音訊偵測特性(例如,在一共用記憶體上)以能夠區分一使用者之存在。當一經註冊使用者(例如,父親)進入雷達系統108之附近區域106時,接著使用者偵測模組222可部分利用父親之所儲存音訊偵測特性來將其與裝置之其他使用者進行區分。當一未註冊之人進入附近區域106時,使用者偵測模組222可部分利用經註冊使用者之所儲存音訊偵測特性來判定此係例如尚未將音訊信號804提供至運算裝置102之一未註冊之人。接著,雷達系統108可針對此未註冊之人產生一未註冊使用者識別,其包含與由未註冊之人發出之一或多個音訊信號804相關聯之音訊偵測特性。因此,雷達系統108可能夠在一隨後時間使用儲存於其等之未註冊使用者識別中之音訊偵測特徵來區分此未註冊之人。
一般言之,額外感測器輸入(例如,來自一麥克風802之音訊信號804)係選用的,且一使用者104可被給予隱私控制以限制此等額外感測器之使用。例如,一使用者104可修改其等之個人設定、一般設定、預設設定等以包含及/或排除任何額外感測器(例如,額外於用於雷達之天線214)。此外,使用者偵測模組222可在區分一使用者之存在之後實施此等個人設定。雖然實例實施方案800將額外感測器描述為一麥克風802,但一般言之,關於圖8描述之技術可應用於例如一超音波感測器、一環境光感測器、加速度計、陀螺儀、磁力計、近接感測器、環境溫度感測器、光感測器、壓力感測器、觸摸感測器等。關於圖9進一步描述隱私控制。
適應性隱私
圖9繪示其中基於使用者存在來修改隱私設定之一實例序列900-1及900-2。在實例序列900-1中,運算裝置102之使用者偵測模組222偵測到第一使用者104-1存在於附近區域106內。代替偵測一或多個其他使用者(例如,經註冊使用者、未註冊之人)之存在,雷達系統108可實施第一使用者104-1之一第一隱私設定902。此第一隱私設定902可包含關於例如所容許感測器(參考圖8)、音訊提醒、行事曆資訊、音樂、媒體、家用物件之設定(例如,光偏好)等之使用者偏好。例如,第一使用者104-1可在已實施第一隱私設定902時接收行事曆事件之音訊提醒。
在實例序列900-2中,除第一使用者104-1之持續存在之外,運算裝置102隨後可偵測一第二使用者104-2 (例如,另一經註冊使用者)之存在。雷達系統108現在可實施一第二隱私設定904以基於第二使用者之存在來調適第一使用者104-1之隱私。實施方案可為自動的或基於來自第一使用者104-1之一命令而觸發。例如,第二隱私設定904可限制音訊提醒以防止在存在其他人之情況下播報私密資訊。第二隱私設定904可係基於例如預設條件、使用者輸入等。
第二隱私設定904亦可經實施以保護第二使用者之資訊之隱私,且基於房間中之使用者進行調適。例如,另一經註冊使用者(例如,一家庭成員)之存在可比一未註冊之人(例如,一客人)之存在需要更少隱私限制。亦可針對各使用者104定製適應性隱私設定。例如,第一使用者104-1可具有更具限制性的隱私設定(例如,在存在其他人之情況下限制音訊提醒),而第二使用者104-2可具有較不具限制性的隱私設定(例如,在存在其他人之情況下不限制音訊提醒)。
適應性隱私亦可應用於正在進行之操作。在一實例中,一第一使用者104-1 (例如,一父親)可啟動一烤箱且將一定時器設定為20分鐘。若一第二使用者104-2 (例如,一孩子)嘗試在定時器已期滿之前關閉烤箱,則雷達系統108可防止孩子改變此操作。此可容許父親在該20分鐘期間控制烤箱之操作以防止烘烤中斷。特定言之,雷達系統108可將正在進行之操作與執行命令之使用者104相關聯以防止另一使用者修改其等之操作。在另一實例中,一母親可執行在晚上9:00關閉臥室燈之一命令以確保其等之孩子按時入睡。若一孩子執行在其等之就寢時間之後使燈保持開啟之一命令,則雷達系統108可防止孩子修改母親之命令。用於以雷達為基礎之手勢偵測器之使用者區分之技術不限於圖1至圖9中繪示之實例,且更一般言之參考圖10-1、圖10-2及圖10-3來描述。
實例方法
圖10-1、圖10-2及圖10-3繪示用於以雷達為基礎之手勢偵測器之使用者區分之一實例方法1000。方法1000被展示為所執行之多組操作(或動作),且不一定限於本文中展示操作之順序或組合。此外,可重複、組合、重組或連結該等操作之任何一或多者以提供多種額外及/或替代方法。在以下論述之部分中,可參考圖1至圖9之實例環境或實例序列,對其等之參考僅作為實例。該等技術不限於由在一個運算裝置102上操作之一個實體或多個實體來執行。
在1002,從一運算裝置之一雷達系統發射一雷達發射信號。例如,參考圖1,可從一運算裝置102之一雷達系統108發射一雷達發射信號402以偵測一使用者104是否存在於一附近區域106內。雷達發射信號402可包含一單一信號、類似或相異之多個信號、一信號叢發、連續信號等,如參考圖4描述。
在1004,在運算裝置處接收一雷達接收信號。例如,可由運算裝置102之雷達系統108接收一或多個雷達接收信號404-Y (其中Y可表示1、2、3…之一整數值)。
在1006,由運算裝置判定自其反射雷達接收信號之一物件之一雷達特性。例如,由運算裝置102之雷達系統108判定自其反射雷達接收信號404-Y之一物件(例如,一使用者104)之一或多個雷達特性。一或多個雷達特性可用於區分使用者,且包含例如形貌、時間、手勢及/或情境資訊,如關於圖6描述。運算裝置102可放棄判定在一附近區域106中偵測到之一使用者104之個人可識別資訊。在1008,同時或在一不同時間,運算裝置可(視情況)接收與物件相關聯之一音訊信號。例如,運算裝置102可使用一麥克風802接收與物件(例如,使用者104)相關聯之一或多個音訊信號804。
在1010,運算裝置可判定物件係一未註冊之人。例如,雷達系統108之一使用者偵測模組222可基於雷達接收信號404-Y之一或多個雷達特性來判定一未註冊之人之一存在。特定言之,雷達系統108可將一第一雷達接收信號404-1之一第一雷達特性與一或多個所儲存雷達特性進行比較。所儲存雷達特性可包含一經註冊使用者或先前偵測到之未註冊之人之一或多個雷達特性,其或其等可被保存至例如一記憶體上。若第一雷達特性與一或多個所儲存雷達特性相互關聯,則使用者偵測模組222可判定一經註冊使用者存在。然而,在1010,雷達系統108判定所偵測雷達特性不與一或多個所儲存雷達特性相互關聯(例如,不類似或不相同)。因此,雷達系統108判定相互關聯之此缺乏指示一未註冊之人之一存在。可在無需個人可識別資訊之情況下判定未註冊之人之存在,如關於圖1描述。使用者偵測模組222可視情況利用由運算裝置102接收之一或多個音訊信號804來判定未註冊之人之存在。
在1012,向未註冊之人指派一未註冊使用者識別。例如,可由運算裝置102之雷達系統108向未註冊之人指派一未註冊使用者識別(例如,假識別、偽識別)。
在繼續至方塊1020之前,運算裝置亦可視情況執行在1014、1016及1018識別之操作之任何一或多者。在1014,運算裝置可提供手勢訓練。例如,運算裝置102之雷達系統108可為未註冊之人提供手勢訓練,如參考圖1描述。例如,雷達系統108可假定一新使用者(未註冊之人)尚未執行手勢訓練,且可提示未註冊之人開始關於一或多個手勢之訓練。在1016,運算裝置可維持一第一訓練歷史。例如,運算裝置102可將與未註冊之人在訓練期間執行一手勢之一方式相關聯之一或多個雷達特性儲存至未註冊之人之未註冊使用者識別。
在1018,運算裝置可視情況啟動預定使用者設定。例如,運算裝置102之雷達系統108可參考關於圖9之論述來啟動預定使用者設定(例如,預設偏好、預設隱私設定)。方法1000之描述在圖10-2中繼續,如由圖10-1之方塊1012之後之字母「A」指示,其對應於圖10-2之方塊1020之前之字母「A」。
在1020,將物件之雷達特性與未註冊使用者識別相關聯。例如,物件(例如,未註冊之人)之一或多個雷達特性可與未註冊使用者識別相關聯。未註冊使用者識別亦可包含未註冊之人之設定及一訓練歷史。
在1022,由運算裝置儲存未註冊使用者識別及相關聯雷達特性。例如,運算裝置102之雷達系統108可將未註冊使用者識別及與未註冊之人相關聯之一或多個雷達特性兩者儲存於一記憶體(例如,本端、共用、遠端)上。以此方式,未註冊使用者識別可部分用於在一未來時間將未註冊之人與其他使用者進行區分。
運算裝置102可視情況執行方塊1022之後之任何一或多個步驟。此等步驟可以任何順序執行及/或可重複。雖然在方塊1002至1022之後描繪方塊1024至1048,但其等可在1002至1022之任何一或多個方塊之前或期間執行。
在1024,從運算裝置發射一第二雷達發射信號。例如,參考圖1及圖4,可從運算裝置102之雷達系統108發射一第二雷達發射信號402-2以偵測另一使用者104是否存在於附近區域106內。
在1026,在運算裝置處接收一第二雷達接收信號。例如,可由運算裝置102之雷達系統108接收一第二雷達接收信號404-2。在1028,同時或在一不同時間,運算裝置可(視情況)接收一第二音訊信號。例如,運算裝置102可使用麥克風802接收一第二音訊信號804-2。
在1030,運算裝置可基於第二雷達接收信號來判定一經註冊使用者之一存在。例如,雷達系統108之一使用者偵測模組222可基於第二雷達接收信號404-2來判定一經註冊使用者之一存在。特定言之,雷達系統108可將第二雷達接收信號404-2之一第二雷達特性與一或多個所儲存雷達特性進行比較。若第二雷達特性與一或多個所儲存雷達特性相互關聯,則使用者偵測模組222可判定一經註冊使用者(或具有一所儲存雷達特性之未註冊使用者)存在。在1030,雷達系統108判定所偵測雷達特性與一經註冊使用者之一或多個所儲存雷達特性相互關聯(例如,類似或相同)。因此,雷達系統108判定一經註冊使用者之存在。亦可在無需個人可識別資訊之情況下判定經註冊使用者之存在,如關於圖1描述。使用者偵測模組222可視情況利用由運算裝置102接收之第二音訊信號804-2來判定經註冊使用者之存在。
視情況,在繼續至方塊1038之前,運算裝置可執行在1032、1034及1036識別之操作之任何一或多者。在1032,運算裝置可提供手勢訓練。例如,運算裝置102之雷達系統108可將手勢訓練提供給經註冊使用者,如參考圖1描述。可對經註冊使用者基於其等之訓練歷史來定製手勢訓練。例如,若經註冊使用者先前已針對四個手勢之一者訓練,則雷達系統108 (例如,使用手勢偵測模組224或系統媒體220之另一模組)可提示經註冊使用者繼續針對四個手勢之其餘三者訓練。以此方式,訓練可經定製且防止經註冊使用者進行不必要再訓練。當經註冊使用者恢復針對其餘三個手勢訓練時(例如,在1032),運算裝置102可維持經註冊使用者之一第二訓練歷史。
在1036,運算裝置可視情況在判定經註冊使用者之存在之後啟動經註冊使用者之使用者設定。例如,運算裝置102之雷達系統108可參考關於圖9之論述來啟動經註冊使用者之使用者設定(例如,偏好、隱私設定)。此等操作亦可針對具有一雷達特性(諸如與該未註冊之人之一未註冊使用者識別相關聯之雷達特性)之未註冊之人執行。
方法1000之描述在圖10-3中繼續,如由圖10-2之方塊1030之後之字母「B」指示,其對應於圖10-3之方塊1038之前之字母「B」。
在1038,從運算裝置發射一第三雷達發射信號。例如,參考圖1及圖4,可從運算裝置102之雷達系統108發射一第三雷達發射信號402-3以偵測未註冊之人或經註冊使用者是否存在於附近區域106內。
在1040,在運算裝置處接收一第三雷達接收信號。例如,可由運算裝置102之雷達系統108接收一第三雷達接收信號404-3。在1042,同時或在一不同時間,運算裝置可(視情況)接收一第三音訊信號。例如,運算裝置102可使用麥克風802接收一第三音訊信號804-3。
在1044,運算裝置可基於第三雷達接收信號來判定經註冊使用者或未註冊之人之一存在。例如,雷達系統108之使用者偵測模組222可基於第三雷達接收信號404-3之一或多個雷達特性來判定經註冊使用者或未註冊之人之存在。特定言之,雷達系統108可將第三雷達接收信號404-3之一第三雷達特性與一或多個所儲存雷達特性進行比較,類似於1010及1030之論述。
視情況,運算裝置可執行在1046及1048識別之操作之任何一或多者。在1046,運算裝置可分別啟動預定設定或經註冊使用者之使用者設定。例如,若(在1044)裝置偵測到未註冊之人之存在,則雷達系統108可啟動預定使用者設定。類似地,若(在1044)裝置偵測到經註冊使用者之存在,則運算裝置102之雷達系統108可啟動經註冊使用者之使用者設定。在1048,運算裝置可分別基於第一訓練歷史或第二訓練歷史來恢復手勢訓練。例如,若(在1044)裝置偵測到未註冊之人之存在,則雷達系統108可基於與未註冊使用者識別相關聯之第一訓練歷史將手勢訓練提供給未註冊之人。類似地,若(在1044)裝置偵測到經註冊使用者之存在,則運算裝置102之雷達系統108可基於第二訓練歷史將手勢訓練提供給經註冊使用者。
結論
儘管已使用特定於特徵及/或方法之語言來描述用於以雷達為基礎之手勢偵測器之使用者區分之技術及設備,然應理解,隨附發明申請專利範圍之標的不一定限於所描述之特定特徵或方法。實情係,特定特徵及方法被揭示為用於以雷達為基礎之手勢偵測器之使用者區分之實例實施方案。
下文描述一些實例。
實例1:一種方法,其包括:從與一運算裝置相關聯之一雷達系統發射一雷達發射信號;在該雷達系統或與該運算裝置相關聯之另一雷達系統處接收一雷達接收信號;從該雷達接收信號判定自其反射該雷達接收信號之一物件之一雷達特性;基於該物件之該雷達特性來判定該物件係一未註冊之人,該未註冊之人並非與該運算裝置相關聯之一經註冊使用者;向該未註冊之人指派一未註冊使用者識別;將該物件之該雷達特性相關聯於該未註冊使用者識別;及儲存該未註冊使用者識別及該相關聯雷達特性,該相關聯雷達特性可用於藉由將具有一類似或相同雷達特性之一未來接收之雷達接收信號與該未註冊之人之該相關聯雷達特性相互關聯而在一未來時間判定該未註冊之人之一存在。
實例2:如由實例1敘述之方法,該方法進一步包括:從該雷達系統或與該運算裝置相關聯之該另一雷達系統發射一第二雷達發射信號;在該雷達系統或該另一雷達系統處接收與一第二雷達特性相關聯之一第二雷達接收信號,該第二雷達特性類似或相同於該未註冊之人之該相關聯雷達特性;及將該第二雷達特性與相關聯於該所儲存未註冊使用者識別之該雷達特性進行比較,該比較有效地判定該未註冊之人之該存在。
實例3:如由任何前述實例敘述之方法,該方法進一步包括:從該雷達系統或與該運算裝置相關聯之該另一雷達系統發射一第三雷達發射信號;在該雷達系統或該另一雷達系統處接收與一第三雷達特性相關聯之一第三雷達接收信號;及將該第三雷達特性與經註冊使用者之一或多個所儲存雷達特性進行比較,該比較有效地將該第三雷達特性與一經註冊使用者之一第一所儲存雷達特性相互關聯,該相互關聯指示該經註冊使用者之一存在。
實例4:如由任何前述實例敘述之方法,其中在無需使用個人可識別資訊之情況下判定該未註冊之人之該存在或一經註冊使用者之一存在,該個人可識別資訊包含以下之至少一者:面部辨識資訊;生物測定資訊;私密對話之內容;法定可識別資訊;一電子標籤之識別;一個人電子裝置之識別;或私密資訊。
實例5:如由任何前述實例敘述之方法,其中該雷達特性包含該物件之形貌資訊,該形貌資訊包含以下之至少一者:雷達橫截面資料;幾何資訊;紋理資訊;一表面光滑度;或一結構組態。
實例6:如由任何前述實例敘述之方法,其中該雷達特性包含該物件之時間資訊,該時間資訊與該物件隨著時間之一或多個移動相關聯。
實例7:如由任何前述實例敘述之方法,其中該雷達特性包含與該物件執行用以控制或更改該運算裝置或與該運算裝置相關聯之一顯示、功能或能力之一或多個手勢之一方式相關聯之手勢資訊。
實例8:如由任何前述實例敘述之方法,其進一步包括將情境資訊與該未註冊使用者識別相關聯,該情境資訊包含以下之至少一者:由該運算裝置在一當前時間、過去時間或經排程時間執行之操作之一狀態;該運算裝置之一位置;或該經註冊使用者或該未註冊之人之一所記錄習慣或偏好。
實例9:如由實例8敘述之方法,其中該情境資訊包含該未註冊之人之該所記錄習慣或偏好,該所記錄習慣或偏好包含一天的某一時間或一周的某一天,且進一步包括在該未來時間基於該所儲存相關聯雷達特性及該一天的某一時間或該一周的某一天來判定該未註冊之人之該存在。
實例10:如由任何前述實例敘述之方法,該方法進一步包括:回應於判定該物件係該未註冊之人,提供手勢訓練以教導該未註冊之人執行用以控制或更改該運算裝置或與該運算裝置相關聯之一顯示、功能或能力之一手勢;針對該未註冊之人,儲存在手勢訓練期間由該未註冊之人執行之該手勢之一訓練歷史,該所儲存訓練歷史與該未註冊使用者識別相關聯;及回應於在該未來時間判定該未註冊之人之該存在,基於該所儲存訓練歷史來恢復手勢訓練;或基於該所儲存訓練歷史來辨識一未來接收之手勢作為用以控制或更改該顯示、功能或能力之該手勢。
實例11:如由任何前述實例敘述之方法,其中在該未來時間判定該未註冊之人之該存在係進一步基於利用該未註冊之人之該相關聯雷達特性之一機器學習模型。
實例12:如由任何前述實例敘述之方法,該方法進一步包括:在該運算裝置處偵測由該未註冊之人執行之一第一手勢,該第一手勢與待由該運算裝置在一持續時間內執行之一操作相關聯;實施該操作;在該運算裝置處偵測由另一使用者在該持續時間期間執行以改變該操作之一第二手勢;及基於該第二手勢由並非該未註冊之人之另一使用者執行來避免改變該操作。
實例13:如由任何前述實例敘述之方法,該方法進一步包括:在該運算裝置處接收該物件之一音訊信號;在無需判定與該音訊信號相關聯之一或多個字詞之情況下判定該音訊信號之一音訊特性;及回應於判定該物件係該未註冊之人:將該音訊特性與該未註冊使用者識別相關聯;及儲存該相關聯音訊特性以能夠藉由將具有一類似或相同音訊特性之一未來接收之音訊信號與該相關聯音訊特性相互關聯而在該未來時間判定該未註冊之人之該存在。
實例14:如由任何前述實例敘述之方法,其中該雷達系統經組態以在一射頻範圍內發射及接收雷達信號。
實例15:一種運算裝置,其包括:至少一個天線;一雷達系統,其經組態以使用該至少一個天線發射一雷達發射信號及接收一雷達接收信號;至少一個處理器;及一電腦可讀儲存媒體,其包括回應於由該處理器執行而用於指示該運算裝置執行如實例1至14中敘述之方法之任一者之指令。
實例16:一種運算系統,其包括一第一運算裝置及一第二運算裝置,其等連接至一通信網路以實現:該第一運算裝置或該第二運算裝置執行如實例1至14中敘述之方法之任一者;及該第一運算裝置與該第二運算裝置之間之資訊之一交換,該資訊包含以下之至少一者:一或多個所偵測雷達特性;一或多個所儲存雷達特性;形貌資訊;時間資訊;手勢資訊;情境資訊;或一或多個音訊信號。
100-1:序列
100-2:序列
102:運算裝置
102-1:第一運算裝置
102-2:第二運算裝置
104:使用者
104-1:第一使用者
104-2:第二使用者
106:附近區域
106-1:第一附近區域
106-2:第二附近區域
108:雷達系統
200:實施方案
202-1:家庭自動化及控制系統
202-2:桌上型電腦
202-3:平板電腦
202-4:膝上型電腦
202-5:電視機
202-6:運算手錶
202-7:運算眼鏡
202-8:遊戲系統
202-9:微波爐
204:處理器
206:電腦可讀媒體(CRM)
208:以雷達為基礎之應用程式
210:網路介面
212:通信介面
214:天線
216:類比電路
218:系統處理器
220:系統媒體
222:使用者偵測模組
224:手勢偵測模組
300:環境
302:通信網路
304-1:第一房間
304-2:第二房間
400:環境
402:雷達發射信號
404-1至404-Y:雷達接收信號
500:實施方案
502:發射器
504:波形產生器
506:接收器
508:接收頻道
600-1至600-4:實施方案
700:實施方案
702:輸入層
704:隱藏層
704-1至704-M:層
706:輸出層
708-1至708-N:輸入
710:雷達特性
712-1至712-Q:神經元
714-1至714-N:輸出
716:經區分使用者
800:實施方案
802:麥克風
804:音訊信號
900-1:序列
900-2:序列
902:第一隱私設定
904:第二隱私設定
1000:方法
1002:方塊
1004:方塊
1006:方塊
1008:方塊
1010:方塊
1012:方塊
1014:方塊
1016:方塊
1018:方塊
1020:方塊
1022:方塊
1024:方塊
1026:方塊
1028:方塊
1030:方塊
1032:方塊
1034:方塊
1036:方塊
1038:方塊
1040:方塊
1042:方塊
1044:方塊
1046:方塊
1048:方塊
參考下圖描述用於以雷達為基礎之手勢偵測器之使用者區分之設備及技術。
貫穿圖式使用相同數字來指涉相同特徵及組件:
圖1繪示其中可使用該等技術之一實例序列;
圖2繪示作為運算裝置之部分之雷達系統之一實例實施方案;
圖3繪示其中多個運算裝置透過一通信網路連接以形成一運算系統之一實例環境;
圖4繪示其中由一運算裝置使用一雷達系統來偵測一使用者之存在之一實例環境;
圖5繪示雷達系統之天線、類比電路及系統處理器之一實例實施方案;
圖6繪示其中使用者偵測模組可區分使用者之實例實施方案;
圖7繪示用於區分一運算裝置之使用者之一機器學習(ML)模型之一實例實施方案;
圖8繪示使用一額外感測器來改良使用者區分之保真度之一運算裝置之一實例實施方案;
圖9繪示其中基於使用者存在來修改隱私設定之一實例序列;及
圖10-1、圖10-2及圖10-3繪示用於以雷達為基礎之手勢偵測器之使用者區分之一實例方法。
100-1:序列
100-2:序列
102:運算裝置
104-1:第一使用者
104-2:第二使用者
106:附近區域
108:雷達系統
Claims (15)
- 一種方法,其包括: 從與一運算裝置相關聯之一雷達系統發射一雷達發射信號; 在該雷達系統或與該運算裝置相關聯之另一雷達系統處接收一雷達接收信號; 從該雷達接收信號判定自其反射該雷達接收信號之一物件之一雷達特性; 基於該物件之該雷達特性來判定該物件係一未註冊之人,該未註冊之人並非與該運算裝置相關聯之一經註冊使用者; 向該未註冊之人指派一未註冊使用者識別; 將該物件之該雷達特性相關聯於該未註冊使用者識別;及 儲存該未註冊使用者識別及該相關聯雷達特性,該相關聯雷達特性可用於藉由將具有一類似或相同雷達特性之一未來接收之雷達接收信號與該未註冊之人之該相關聯雷達特性相互關聯而在一未來時間判定該未註冊之人之一存在。
- 如請求項1之方法,該方法進一步包括: 從該雷達系統或與該運算裝置相關聯之該另一雷達系統發射一第二雷達發射信號; 在該雷達系統或該另一雷達系統處接收與一第二雷達特性相關聯之一第二雷達接收信號,該第二雷達特性類似或相同於該未註冊之人之該相關聯雷達特性;及 將該第二雷達特性與相關聯於該所儲存未註冊使用者識別之該雷達特性進行比較,該比較有效地判定該未註冊之人之該存在。
- 如請求項1及2中任一項之方法,該方法進一步包括: 從該雷達系統或與該運算裝置相關聯之該另一雷達系統發射一第三雷達發射信號; 在該雷達系統或該另一雷達系統處接收與一第三雷達特性相關聯之一第三雷達接收信號;及 將該第三雷達特性與該經註冊使用者之一或多個所儲存雷達特性進行比較,該比較有效地將該第三雷達特性與該經註冊使用者之一第一所儲存雷達特性相互關聯,該相互關聯指示該經註冊使用者之一存在。
- 如請求項1及2中任一項之方法,其中在無需使用個人可識別資訊之情況下判定該未註冊之人之該存在,該個人可識別資訊包含以下之至少一者: 面部辨識資訊; 生物測定資訊; 私密對話之內容; 法定可識別資訊; 一電子標籤之識別;或 一個人電子裝置之識別。
- 如請求項1及2中任一項之方法,其中該雷達特性包含該物件之形貌資訊,該形貌資訊包含以下之至少一者: 雷達橫截面資料; 幾何資訊; 紋理資訊; 一表面光滑度;或 一結構組態。
- 如請求項1及2中任一項之方法,其中該雷達特性包含該物件之時間資訊,該時間資訊與該物件隨著時間之一或多個移動相關聯。
- 如請求項1及2中任一項之方法,其中該雷達特性包含與該物件執行用以控制或更改該運算裝置或與該運算裝置相關聯之一顯示、功能或能力之一或多個手勢之一方式相關聯之手勢資訊。
- 如請求項1及2中任一項之方法,其進一步包括將情境資訊與該未註冊使用者識別相關聯,該情境資訊包含以下之至少一者: 由該運算裝置在一當前時間、過去時間或經排程時間執行之操作之一狀態; 該運算裝置之一位置;或 該經註冊使用者或該未註冊之人之一所記錄習慣或偏好。
- 如請求項8之方法,其中該情境資訊包含該未註冊之人之該所記錄習慣或偏好,該所記錄習慣或偏好包含一天的某一時間或一周的某一天,且進一步包括在該未來時間基於該所儲存相關聯雷達特性及該一天的某一時間或該一周的某一天來判定該未註冊之人之該存在。
- 如請求項1及2中任一項之方法,該方法進一步包括: 回應於判定該物件係該未註冊之人,提供手勢訓練以教導該未註冊之人執行用以控制或更改該運算裝置或與該運算裝置相關聯之一顯示、功能或能力之一手勢; 針對該未註冊之人,儲存在手勢訓練期間由該未註冊之人執行之該手勢之一訓練歷史,該所儲存訓練歷史與該未註冊使用者識別相關聯;及 回應於在該未來時間判定該未註冊之人之該存在, 基於該所儲存訓練歷史來恢復手勢訓練;或 基於該所儲存訓練歷史來辨識一未來接收之手勢作為用以控制或更改該顯示、功能或能力之該手勢。
- 如請求項1及2中任一項之方法,其中在該未來時間判定該未註冊之人之該存在係進一步基於利用該未註冊之人之該相關聯雷達特性之一機器學習模型。
- 如請求項1及2中任一項之方法,該方法進一步包括: 在該運算裝置處偵測由該未註冊之人執行之一第一手勢,該第一手勢與待由該運算裝置在一持續時間內執行之一操作相關聯; 實施該操作; 在該運算裝置處偵測由另一使用者在該持續時間期間執行以改變該操作之一第二手勢;及 基於該第二手勢由並非該未註冊之人之另一使用者執行來避免改變該操作。
- 如請求項1及2中任一項之方法,該方法進一步包括: 在該運算裝置處接收該物件之一音訊信號; 在無需判定與該音訊信號相關聯之一或多個字詞之情況下判定該音訊信號之一音訊特性;及 回應於判定該物件係該未註冊之人: 將該音訊特性與該未註冊使用者識別相關聯;及 儲存該相關聯音訊特性以能夠藉由將具有一類似或相同音訊特性之一未來接收之音訊信號與該相關聯音訊特性相互關聯而在該未來時間判定該未註冊之人之該存在。
- 一種運算裝置,其包括: 至少一個天線; 一雷達系統,其經組態以使用該至少一個天線發射一雷達發射信號及接收一雷達接收信號; 至少一個處理器;及 一電腦可讀儲存媒體,其包括回應於由該處理器執行而用於指示該運算裝置執行如請求項1至13之方法之任一者之指令。
- 一種運算系統,其包括一第一運算裝置及一第二運算裝置,其等連接至一通信網路以實現: 該第一運算裝置或該第二運算裝置執行如請求項1至13之方法之任一者;及 該第一運算裝置與該第二運算裝置之間之資訊之一交換,該資訊包含以下之至少一者: 一或多個所偵測雷達特性; 一或多個所儲存雷達特性; 形貌資訊; 時間資訊; 手勢資訊; 情境資訊;或 一或多個音訊信號。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2022/077388 WO2024072458A1 (en) | 2022-09-30 | 2022-09-30 | User distinction for radar-based gesture detectors |
WOPCT/US22/77388 | 2022-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202415977A true TW202415977A (zh) | 2024-04-16 |
Family
ID=83995494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW112137358A TW202415977A (zh) | 2022-09-30 | 2023-09-28 | 用於以雷達為基礎之手勢偵測器之使用者區分 |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW202415977A (zh) |
WO (1) | WO2024072458A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120226981A1 (en) * | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Controlling electronic devices in a multimedia system through a natural user interface |
US9740361B2 (en) * | 2013-10-14 | 2017-08-22 | Microsoft Technology Licensing, Llc | Group experience user interface |
KR102222561B1 (ko) * | 2014-03-27 | 2021-03-05 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
US9921660B2 (en) * | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
-
2022
- 2022-09-30 WO PCT/US2022/077388 patent/WO2024072458A1/en unknown
-
2023
- 2023-09-28 TW TW112137358A patent/TW202415977A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024072458A1 (en) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11902707B1 (en) | Location based device grouping with voice control | |
US20220012470A1 (en) | Multi-user intelligent assistance | |
US11314312B2 (en) | Smartphone-based radar system for determining user intention in a lower-power mode | |
CN107209549B (zh) | 能够实现可动作的消息传送的虚拟助理系统 | |
US10671231B2 (en) | Electromagnetic interference signal detection | |
US9729821B1 (en) | Sensor fusion for location based device grouping | |
WO2020040968A1 (en) | Smartphone, system and method comprising a radar system | |
CN108885485A (zh) | 基于存在性检测的数字助理体验 | |
WO2023083262A1 (zh) | 基于多设备提供服务的方法、相关装置及系统 | |
US10101869B2 (en) | Identifying device associated with touch event | |
US11012780B2 (en) | Speaker system with customized audio experiences | |
KR20150086332A (ko) | 디바이스 구성, 상호 작용 및 제어를 위한 통합된 프레임워크, 및 연관된 방법, 디바이스 및 시스템 | |
CN115605859A (zh) | 基于设备特定信号来推断用于助理设备的语义标签 | |
TW202415977A (zh) | 用於以雷達為基礎之手勢偵測器之使用者區分 | |
EP4111387A1 (en) | Inferring assistant action (s) based on ambient sensing by assistant device (s) | |
TW202416107A (zh) | 基於使用者輸入之在線學習 | |
TW202418049A (zh) | 判定破壞性較小的命令 | |
WO2024072463A1 (en) | Radar-based gesture determination at long ranges | |
WO2024072467A1 (en) | Detecting user engagement | |
WO2024072464A1 (en) | Sensor capability determination for radar-based computing devices | |
WO2024072468A1 (en) | In-line learning of new gestures for radar-enabled computing devices | |
WO2024072459A1 (en) | System of multiple radar-enabled computing devices | |
WO2024072461A1 (en) | Ambiguous gesture determination using contextual information | |
WO2024072462A9 (en) | Continual in-line learning for radar-based gesture recognition | |
Rodriguez | Location Finding of Wireless Beacons |