TWI726349B - 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統 - Google Patents

用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統 Download PDF

Info

Publication number
TWI726349B
TWI726349B TW108123887A TW108123887A TWI726349B TW I726349 B TWI726349 B TW I726349B TW 108123887 A TW108123887 A TW 108123887A TW 108123887 A TW108123887 A TW 108123887A TW I726349 B TWI726349 B TW I726349B
Authority
TW
Taiwan
Prior art keywords
user
radar
orientation
smartphone
smart phone
Prior art date
Application number
TW108123887A
Other languages
English (en)
Other versions
TW202009654A (zh
Inventor
李奧納多 吉奧思帝
艾文 波匹雷夫
布蘭登 巴貝羅
派翠克 M 艾米胡德
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202009654A publication Critical patent/TW202009654A/zh
Application granted granted Critical
Publication of TWI726349B publication Critical patent/TWI726349B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本文件描述啟用用於促進使用者存在及定向之察覺的一基於智慧手機之雷達系統之技術及系統。該等技術及系統使用一雷達場來準確地判定一使用者相對於諸如一智慧手機之一電子器件之位置及實體定向。該雷達場亦使該器件能夠自該使用者接收3D手勢以與該器件互動。該等技術允許該器件基於該使用者之存在及定向提供功能性,且適當地調整該器件與該使用者之互動之時序、內容及格式。

Description

用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
智慧手機及其他電子器件上之應用程式提供愈來愈多的生產力、娛樂及通信特徵,該等特徵已變得幾乎必不可少。吾人聽音樂、觀看視訊且共享簡報及文件。此等應用程式提醒吾人約會(且有時甚至安排約會),當有人發短訊或呼叫時通知吾人,且追蹤工作、學校及家庭之計劃。此外,隨著此等應用程式及在其上運行該等應用程式之器件變得愈來愈熟習吾人之排程及偏好,其等建議替代交通路線,建議餐館且以其他方式獨立地與吾人溝通。然而,藉由應用為吾人提供之所有幫助以及所有其等運算能力及人工智能,其等仍在社交中未察覺且可變得具侵入性。即,雖然智慧手機係「智慧的」,但在顯示或播放一提醒、警示或建議時,智慧手機不知道其使用者在做什麼(或使用者是否在器件附近)。因此,若吾人移動至器件之另一側或嘗試跨一桌子與另一人共享顯示內容,則內容可能係顛倒的。若吾人旋轉器件,則器件可能無法辨識吾人想要其做什麼,直至吾人拾取器件,按照吾人想要的方向使器件定向,且再次放下器件。在其他情況下,器件可能在不便時打斷吾人,或在不適當位置或以一令人尷尬之音量或亮度顯示提醒或通知(其等可包含個人及私人資訊)。因此,利用吾人的應用程式之強大且有趣之特徵可係不便、令人尷尬且令人沮喪的,且吾人可能因為電子器件及應用程式之受限察覺而無法充分發揮其等潛力。
本文件描述啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術及系統。該等技術及系統使用一雷達場來準確地判定一使用者相對於諸如一智慧手機之一電子器件之位置及實體定向。該雷達場亦使該器件能夠自該使用者接收三維(3D)手勢以與該器件互動。該等技術允許該器件基於該使用者之存在及定向提供功能性,且適當地調整該器件與該使用者之互動之時序、內容及格式。
下文所描述之態樣包含一種包括一智慧手機、一顯示器、一雷達系統、一或多個電腦處理器及一或多個電腦可讀媒體之系統。該雷達系統至少部分地實施於硬體中且提供一雷達場。該雷達系統亦感測來自該雷達場中之一物件之反射且分析來自該雷達場中之該物件之該等反射。該雷達系統基於該等反射之該分析進一步提供雷達資料。該一或多個電腦處理器包含儲存指令,該等指令在由該一或多個電腦處理器執行時執行操作。該等操作包括:基於該雷達資料之一第一子集,判定該智慧手機相對於該物件之一定向;及回應於判定該智慧手機之該定向,提供該智慧手機之一基於定向之功能。該等操作亦包括基於該雷達資料之一第二子集,判定該智慧手機相對於該物件之該定向之一變化;及回應於該定向變化,修改該智慧手機之該基於定向之功能。
下文所描述之態樣包含一種包括一電子器件、一雷達系統、一或多個電腦處理器及一或多個電腦可讀媒體之系統。該雷達系統至少部分地實施於硬體中且提供一雷達場。該雷達系統亦感測來自該雷達場中之一物件之反射且分析來自該雷達場中之該物件之該等反射。該雷達系統基於該等反射之該分析進一步提供雷達資料。該一或多個電腦可讀媒體包含所儲存指令,該等指令在由該一或多個電腦處理器執行時執行操作。該等操作包括:基於該雷達資料之一第一子集,判定在該電子器件之一察覺距離內存在該物件;及回應於判定在該察覺距離內存在該物件,提供該電子器件之一基於存在之功能。該等操作亦包括:基於該雷達資料之一第二子集,判定該物件在該電子器件之該察覺距離之外;及回應於判定該物件在該察覺距離之外,停止提供該基於存在之功能。
下文所描述之態樣亦包含一種在包含一雷達系統及一基於雷達之應用程式之一電子器件中實施之方法。該方法包括:由該雷達系統提供一雷達場;及由該雷達系統感測來自該雷達場中之一物件之反射。該方法亦包含:分析來自該雷達場中之該物件之該等反射;及基於該等反射之該分析提供雷達資料。該方法進一步包含:基於該雷達資料之一第一子集,判定該電子器件相對於該物件之一定向;及回應於判定該電子器件之該定向,提供該電子器件之一基於定向之功能。該方法亦包含:基於該雷達資料之一第二子集,判定該電子器件相對於該物件之該定向之一變化;及回應於該定向之該變化,修改該電子器件之該基於定向之功能
下文所描述之態樣亦包含一種包括一電子器件之系統,該電子器件包含或相關聯於用於提供供應雷達資料之一雷達場之構件,該雷達資料基於感測及分析來自該雷達場中之一物件之反射。該系統亦包含用於判定該電子器件相對於該雷達場中之該物件之一定向及回應於判定該定向而提供該電子器件之一基於定向之功能之構件。該系統亦包含用於判定該電子器件相對於該雷達場中之該物件之該定向之一變化及回應於判定該定向之該變化而修改該電子器件之該基於定向之功能之構件。
提供本[發明內容]係為了介紹下文在[實施方式]及[圖式簡單說明]中進一步描述之關於用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之簡化概念。本[發明內容]既非意欲於識別所主張標的物之必要特徵,亦非意欲用於判定所主張標的物之範疇。
概述
本文件描述啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術及系統。如上述,因為智慧手機及其他電子器件未察覺一使用者是否在器件附近或使用者相對於器件(及器件之顯示器)之位置,所以器件並非始終以方便使用者之一方式呈現內容。此外且再者因為缺乏察覺,所以電子器件可藉由在不適當或不便時及地點或以一令人尷尬之音量顯示提醒或通知(其等亦可包含個人及私人資訊)來打斷使用者。令人沮喪且具挑戰性的是,使器件恰當地定向以顯示內容(尤其針對多個使用者)或記住將器件置於一「無聲」模式。另外,使用者有時會忘記關閉無聲模式,此可導致錯過重要提醒。因此,由於器件對其周圍之有限辨識,使用者可能無法充分發揮其等智慧手機及其他器件之潛力。
所描述技術及系統採用一雷達系統來準確地判定一使用者相對於電子器件之位置及實體定向。雷達場亦使器件能夠準確地判定來自使用者之三維(3D)手勢(例如,包括由雷達場110照明之一3D空間內之任何定向上之一或多個移動之一手勢),此可用來與器件互動。除非一特定內文另有指示,否則增加之精度係指增加之精細程度、增加之真實一致性或增加之精細程度及增加之真實一致性兩者。該等技術允許器件藉由適當地定向顯示器且調整器件與使用者之互動之時序、內容及格式基於使用者之存在及定向提供功能性。因此,所描述技術及系統可改良使用者體驗之品質及有效性且由此增加使用者之效率、工作流程及享樂性。
考量包含可藉由以一特定方式定向電子器件來啟動之一請勿打擾(DND)特徵之一電子器件。例如,可藉由將器件之一顯示器定向為面向器件所在之一表面來啟動DND特徵。在此實例中,電子器件係沿螢幕側放置以進入其中器件不提供打斷之一模式,諸如行事曆提醒、電子郵件或文字通知等。此類型之基於定向之DND模式通常防止使用者甚至在螢幕上看見一時鐘或計時器(例如,提醒使用者何時退出DND模式)。此外,為了退出DND模式,使用者必須拾取器件,傾斜器件直至顯示定向正確,且接著放回器件(其可能再次改變顯示器定向)。當存在多個觀看者時,定向對於一些觀看者而言可能仍係錯誤的。與基於定向之特徵(諸如DND模式或顯示定向)之持續不便或令人沮喪之互動可降低使用者對基於定向之特徵之體驗之效率及品質,或甚至降低使用者將與彼等特徵互動之可能性。
對比此等習知技術與本文件中所描述之系統及技術,此可改良若干領域之效率及可用性。例如,在上述實例中,使用者將電子器件置於DND模式,且可能難以依一簡單且方便之方式退出DND模式。在此情境中,電子器件可包含一雷達系統,該雷達系統可提供延伸至器件周圍之一區域中之一雷達場(例如,圍繞器件之5英尺、8英尺或13英尺半徑)。雷達感測器可使用自進入雷達場之物件反射之雷達信號來偵測使用者之一存在及位置以及器件相對於使用者之一定向。接著,使用者可藉由面朝上將器件、顯示器轉動至一特定定向(例如,一橫向定向)而進入DND模式。在此情境中,使用者可使用一簡單定向變化(諸如將器件旋轉至一縱向定向)退出DND模式。此簡單移動可使器件相對於使用者處於適當定向而使用者無須拾取器件或傾斜器件,因為雷達場允許器件基於使用者之位置而知所要定向。
以此方式,所描述技術及系統允許與基於定向之特徵之簡單且方便之互動。使用者可享有此等特徵之優點及便利,而無可能由在無所描述技術之情況下嘗試使用基於定向之特徵引起之中斷及打斷。此可改良效率且降低使用者挫敗感,諸如必須調整及重新調整器件之定向以達成所要結果,此增加使用者體驗之品質。
此僅僅係可如何使用本文中所描述之技術及器件來允許使用者享有基於定向或存在之特徵之一項實例。貫穿本文件描述該等技術及器件之其他實例及實施方案。該文件現轉至一實例性環境,之後描述實例性系統、裝置、方法及組件。操作環境
圖1繪示一實例性環境100,其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。實例性環境100包含一智慧手機102,智慧手機102包含或相關聯於一雷達系統104及一基於雷達之應用程式106。在一些實施方案中,智慧手機102可包含一顯示器108。雷達系統104之一些實施方案在智慧手機(諸如智慧手機102)之內容背景下應用時係特別有利的(其中存在問題之一會聚,諸如需要低功率、需要處理效率、限制天線元件之一間隔及佈局、及其他問題),且在期望雷達偵測精細手勢之智慧手機之特定內容背景下甚至更加有利。儘管該等實施例在需要精細雷達偵測之手勢之一智慧手機之所描述內容背景下係特別有利的,但應明白,本發明之特徵及優點之適用性不必如此受限,且涉及其他類型之電子器件之其他實施例亦可在本教示之範疇內。
在實例性環境100中,雷達系統104藉由傳輸一或多個雷達信號或波形來提供一雷達場110,如下文參考圖3至圖6所描述。雷達場110係一定體積之空間,雷達系統104可自該空間偵測雷達信號及波形之反射(例如,自該空間體積中之物件反射之雷達信號及波形)。雷達系統104亦使智慧手機102能夠感測及分析來自雷達場110中之一物件112之反射。在關於圖1所描述之實例中,在智慧手機102中實施所描述特徵及技術,儘管所描述特徵及技術可搭配各種電子器件之任一者使用(例如,如參考圖2所描述)。
物件112可為雷達系統104可感測及分析來自其等之反射之各種物件之任一者,諸如木材、塑膠、金屬、織物或人體部位(例如,智慧手機102之使用者之手)。如圖1中所展示,物件112係一人或智慧手機102之一使用者(例如,人112或使用者112)。基於反射之分析,雷達系統104可提供雷達資料,該雷達資料包含與雷達場110及來自物件112之反射相關聯之各種類型之資訊,如下文參考圖3至圖6所描述(例如,雷達系統104可將雷達資料傳輸至其他實體,諸如基於雷達之應用程式106)。
應注意,基於來自雷達場110中之物件112之經感測且經分析之反射,可隨時間持續地或週期性地提供雷達資料。物件112之一位置可隨時間改變(例如,物件112可在雷達場110內移動),且因此雷達資料可隨時間對應於變化位置、反射及分析而變化。因為雷達資料可隨時間變化,所以雷達系統104可提供包含對應於不同時間週期之一或多個雷達資料子集之雷達資料。例如,雷達系統104可提供對應於一第一時間週期之雷達資料之一第一子集、對應於一第二時間週期之雷達資料之一第二子集等。
基於雷達之應用程式106可為各種基於雷達之應用程式之任一者,其可使用雷達資料來判定智慧手機102相對於物件112之一定向且(例如,經由顯示器108)為智慧手機102提供基於定向之特徵或功能。另外,基於雷達之應用程式106可使用雷達資料來判定智慧手機102相對於物件之定向之一變化且基於定向之變化修改基於定向之特徵或功能。以此方式,物件112在雷達場110內之定向可用來提供與智慧手機102互動之輸入或指令。
基於雷達之應用程式106可包含一定向模組114或與一定向模組114通信,定向模組114可將與(基於雷達資料)判定智慧手機102相對於物件112之定向相關之資訊以及與對應於智慧手機102相對於物件112之特定定向之特徵及功能相關之資訊兩者儲存於一內部或外部記憶體中。在一些實施方案中,基於雷達之應用程式106可使用由定向模組114儲存之資訊判定智慧手機102相對於物件112之定向。在其他實施方案中,定向模組114本身可判定智慧手機102相對於物件112之定向。如圖1中所展示,定向模組114包含於基於雷達之應用程式106中,但定向模組114可為一單獨實體,其係基於雷達之應用程式106或智慧手機102之部分或與基於雷達之應用程式106或智慧手機102分離。
基於雷達之應用程式106亦可包含一3D手勢模組116或與一3D手勢模組116通信,3D手勢模組116可儲存與基於雷達資料判定一3D手勢(例如,物件112之一3D手勢)相關之資訊及與對應於3D手勢之動作相關之資訊。因此,基於雷達之應用程式106可偵測物件112之3D手勢且判定對應於3D手勢之一動作。
在圖1中,智慧手機102相對於物件112 (在此情況下,使用者112)之基於定向之功能係一請勿打擾(DND)模式(例如,其中使提醒、通知或其他器件起始之通信無聲之一模式)。因為顯示器108仍可見,所以仍可顯示非侵入性內容(例如,一時鐘、一行事曆或一媒體播放器介面)。如一詳細視圖100-1中所展示,智慧手機102已藉由以相對於使用者112之一第一定向(在此情況下,一橫向定向)定位而置於DND模式。如參考圖3至圖6所描述,雷達系統104可使用雷達場110以依能夠以高解析度及精度辨識器件定向之方式感測及分析來自雷達場110中之物件之反射。例如,因為智慧手機102知道其本身相對於雷達場之定向,所以可(例如,由基於雷達之應用程式106)使用如上文所描述之雷達資料來判定智慧手機102相對於使用者112之第一定向且提供DND模式。
在一詳細視圖100-2中,使用者112已將智慧手機102旋轉至相對於使用者112之一第二定向(在此情況下,一縱向定向)。由一箭頭118展示智慧手機102之旋轉。再者,基於雷達之應用程式106 (或另一應用程式)可使用雷達資料來判定自橫向定向至縱向定向之一變化,且回應於定向之變化而退出DND模式。
應注意,使用者112不必傾斜或拾取智慧手機102。在一些實施方案中,例如,旋轉可為一表面上之一平面旋轉、實質上平行於顯示器108之一觀看表面之一平面內之一旋轉或繞實質上垂直於含有智慧手機102之一平面之一軸之一旋轉,且仍有效地引起智慧手機102處於相對於使用者112之縱向(第二)定向。另外,一旦退出DND模式,基於雷達之應用程式106即可顯示在智慧手機102處於DND模式時無聲之任何提醒、通知或其他器件起始之通信。在一些實施方案中,若旋轉超過一臨限距離,則基於雷達之應用程式106可判定旋轉有效地引起基於定向之功能之一修改。臨限距離可為任何適當距離(諸如25度、45度、90度或180度),且可為預定義、使用者可選擇或經由一機器學習模組判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式106。
考量展示所描述技術可如何啟用基於定向之功能之三個額外實例(未繪示)。在第一實例中,智慧手機102之基於定向之功能係以一面向使用者之定向在顯示器108上呈現內容。以此方式,智慧手機102可經由基於雷達之應用程式106或另一應用程式提供自動地朝向使用者112定向之視訊、照片、遊戲及其他媒體,而使用者112無須拾取智慧手機102。使用者112可改變智慧手機102之定向,且智慧手機102可經由基於雷達之應用程式106或其他應用程式判定定向已改變為另一定向,且在智慧手機102處於相對於使用者112之另一定向時自動地維持內容之面向使用者之定向。
例如,使用者112可藉由移動至另一位置或藉由旋轉智慧手機102來改變智慧手機102之定向。如上述,使用者無須傾斜或拾取器件。實情係,智慧手機102相對於使用者112之定向之變化可為一表面上之一平面旋轉、實質上平行於顯示器108之一觀看表面之一平面內之一旋轉或繞實質上垂直於含有智慧手機102之一平面之一軸之一旋轉,且仍有效地引起智慧手機102處於相對於使用者112之另一定向。
在第二實例中,存在兩個使用者112。例如,作為智慧手機102之所有者之一第一使用者(Sam)及作為Sam之同事之一第二使用者(Chris)。在此實例中,假定Sam具有Chris想要審查之一簡報。智慧手機102之基於定向之功能係以面向Sam之一定向(例如,面向第一使用者之定向,類似於先前實例中所描述之基於定向之功能)在顯示器108上呈現內容。進一步假定Chris及Sam坐在一桌子之兩側且Sam同意讓Chris審查簡報。Sam可藉由將智慧手機102朝向Chris移動來讓Chris觀看簡報。如上文所描述,可(例如,由基於雷達之應用程式106)使用雷達資料來判定智慧手機102之定向之一變化。在此情況下,該變化係智慧手機102變得更遠離Sam且更接近Chris (例如,智慧手機102相對於Sam之定向之變化係智慧手機102之一位移,其引起智慧手機102變得更遠離Sam且更接近Chris)。
在判定定向之變化時,智慧手機102可經由基於雷達之應用程式106或另一應用程式自動地修改基於定向之功能以依面向Chris之一定向(例如,一面向第二使用者之定向)在顯示器上呈現內容。因此,Sam可與Chris共享簡報,而無須旋轉或翻轉智慧手機102。實情係,當Sam將器件朝向Chris移動時,經顯示之內容可自動地重新定向成朝向Chris。以此方式,智慧手機102可提供自動地定向在一適當方向上之視訊、照片、遊戲及其他媒體,而使用者112無須手動地調整定向。
在第三實例中,基於雷達之應用程式106或另一應用程式可使用一注意提示來判定智慧手機102相對於使用者112之定向。如參考圖3至圖6所描述,雷達系統104可使用雷達場110以依能夠以高解析度及精度辨識雷達場110中之人之一數目及姿勢之方式感測及分析來自雷達場110中之物件之反射。例如。藉由使用角解析度及數位波束成形,雷達系統104可區分傾斜與站立。以此方式,智慧手機102可偵測來自使用者112之注意提示。注意提示係使用者112之一身體姿勢或位置(諸如前傾或後傾),或使用者112之一軀幹或頭部之一定向(例如,朝向或遠離智慧手機102)。注意提示可用來判定使用者112在使用智慧手機102來閱讀一文件、聽音樂、查看照片等時是否專注。
可使用雷達資料判定注意提示,如上文所描述。例如,雷達資料可用來藉由判定使用者112之一軀幹或頭部相對於實質上平行於顯示器108之一觀看表面之一平面(諸如智慧手機102擱置之一桌子)之一角度(例如,使用者112是否傾向智慧手機102)或使用者112之軀幹或頭部之一角位置(例如,使用者112是否避開智慧手機102)或在智慧手機102之一臨限距離內存在使用者112而判定一注意提示。
在此實例中,智慧手機102之基於定向之功能係以基於注意提示之一內容顯示模式(例如,一第一內容顯示模式)在顯示器108上呈現內容。例如,內容顯示模式可為一媒體暫停模式或一媒體播放模式、一鎖定螢幕模式、一睡眠或喚醒模式、一全螢幕或幻燈片模式,或包含一特定螢幕亮度位準或音量位準。智慧手機102可使用基於雷達之應用程式106或其他應用程式判定注意提示之一變化(例如,使用者112與智慧手機102之間的定向之一變化),諸如自前傾至後傾之一變化或使用者112的頭部自看向顯示器108至看向別處之一轉動。
回應於判定注意提示之變化,基於雷達之應用程式106 (或另一應用程式)可以另一內容顯示模式呈現內容(例如,修改智慧手機102之基於定向之功能以依一第二內容顯示模式呈現內容)。如同第一內容顯示模式,其他內容顯示模式可為一媒體暫停模式或一媒體播放模式、一鎖定螢幕模式、一睡眠或喚醒模式、一全螢幕或幻燈片模式,或包含一特定內容螢幕亮度位準或音量位準。繼續上述實例,假定使用者112以一全螢幕模式觀看一視訊且接著朝向智慧手機102前傾。作為回應,基於雷達之應用程式106可判定使用者112即將與視訊播放器互動且退出全螢幕模式。
以此方式,智慧手機102可使用注意提示來幫助判定其中使用者112採用智慧手機102之內容背景,且由此提供一改良使用者體驗。例如,若智慧手機102諸如藉由判定使用者112已避開顯示器108 (或已離開房間)來判定使用者112未關注一播放視訊,則智慧手機102可暫停視訊及調暗螢幕亮度使得使用者不會錯過任何內容且節省電池電量。
在一些實施方案(包含上文所描述之實例之實施方案)中,若旋轉(例如,智慧手機102或使用者112的軀幹或頭部之旋轉)超過一臨限值,則基於雷達之應用程式106可判定該旋轉有效地引起基於定向之功能之一修改。臨限值可為任何適當旋轉諸如25度、45度、90度或180度。類似地,若位移引起智慧手機102變得遠離Sam至少一臨限距離且更接近Chris,則位移可有效地引起基於定向之功能之一修改。臨限距離可為任何適當距離,諸如6英寸、12英寸或18英寸。此外,若角度(例如,使用者112前傾或後傾之角度)超過一臨限角度,則角度可有效地引起基於定向之功能之修改。臨限角度可為任何適當角度,諸如15度、25度、35度或45度。臨限旋轉、距離或角度可為預定義、使用者可選擇或經由一機器學習模組來判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式106。
另外,若維持定向變化達至少一臨限時間,則基於雷達之應用程式106可判定定向變化有效地引起基於定向之功能之修改。臨限時間可為任何適當時間(例如,0.5秒、1.5秒或2.5秒),且可為預定義、使用者可選擇或經由一機器學習模組來判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式106。
更詳細地,考量圖2,其繪示可實施用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之智慧手機102 (包含雷達系統104、基於雷達之應用程式106及視情況顯示器108)之一實例性實施方案200。圖2之智慧手機102被繪示為包含可實施用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之其他非限制性實例性器件,包含一行動手機102-1、一平板電腦102-2、一膝上型電腦102-3、一桌上型電腦102-4、一運算手錶102-5、運算眼鏡102-6、一遊戲系統102-7、一家庭自動化及控制系統102-8及一車輛102-9。其他器件可包含電視機、娛樂系統、音訊系統、無人機、軌跡板、繪圖板、上網本、電子讀取器、家庭安全系統及其他家用器具。應注意,可實施所描述技術之器件可為可穿戴、不可穿戴但可行動或相對固定(例如,桌上型電腦及器具)。
智慧手機102之例示性整體橫向維度可為例如近似8釐米乘近似15釐米。雷達系統104之例示性覆蓋區可甚至更受限,諸如在包含天線之情況下近似4毫米乘6毫米。雷達系統104之例示性功率消耗可為幾毫瓦(mW)至幾mW(例如,介於近似2 mW與20 mW之間)之數量級。雷達系統104之此一有限覆蓋區之要求(其需要在結合功率及處理限制之此一空間受限封裝(例如,一相機、一指紋感測器、顯示器108等)中容納智慧手機102之諸多其他可期望特徵)可導致雷達手勢偵測之精度及功效之折衷,可鑑於本文中之教示克服至少一些折衷。
智慧手機102亦包含一或多個電腦處理器202及一或多個電腦可讀媒體204 (包含記憶體媒體及儲存媒體)。在電腦可讀媒體204上實施為電腦可讀指令之應用程式及/或一作業系統(未展示)可由電腦處理器202執行以提供本文中所描述之一些功能性。智慧手機102亦可包含一網路介面206。智慧手機102可使用網路介面206來透過有線、無線或光學網路傳達資料。以實例且非限制之方式,網路介面206可透過一區域網路(LAN)、一無線區域網路(WLAN)、一個人區域網路(PAN)、一廣域網路(WAN)、一內聯網、網際網路、一同級間網路、點對點網路或一網狀網路傳達資料。
雷達系統104之各項實施方案可包含系統單晶片(SoC)、一或多個積體電路(IC)、具有嵌入式處理器指令或經組態以存取儲存於記憶體中之處理器指令之一處理器、具有嵌入式韌體之硬體、具有各種硬體組件之一印刷電路板或其等任何組合。雷達系統104藉由傳輸及接收其本身雷達信號而操作為單站雷達。在一些實施方案中,雷達系統104亦可與一外部環境內之其他雷達系統104協作以實施雙站雷達、多站雷達或網路雷達。如上述,智慧手機102之約束或限制可能影響雷達系統104之一設計。例如,智慧手機102可能具有可用來操作雷達之有限功率、有限運算能力、大小約束、佈局限制、使雷達信號衰減或失真之一外部殼體等。雷達系統104包含能夠在存在此等約束之情況下實現先進雷達功能性及高效能之若干特徵,如下文關於圖3進一步描述。應注意,在圖2中,雷達系統104被繪示為智慧手機102之部分。在其他實施方案中,雷達系統104可與智慧手機102分離或遠離智慧手機102。
下文更詳細地闡述此等及其他能力及組態以及其中圖1之實體行動及互動之方式。可進一步劃分、組合此等實體等。圖1之環境100及圖2至圖25之詳細圖解繪示能夠採用所描述技術之一些諸多可能環境及器件。圖3至圖6描述雷達系統104之額外細節及特徵。在圖3至圖6中,在智慧手機102之內容背景下描述雷達系統104,但如上述,所描述系統及技術之特徵及優點之適用性不必如此受限,且涉及其他類型之電子器件之其他實施例亦可在本教示之範疇內。
圖3繪示雷達系統104之一實例性實施方案300,其可用來啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統。在實例300中,雷達系統104包含以下各組件之至少一者:一通信介面302、一天線陣列304、一收發器306、一處理器308及一系統媒體310 (例如,一或多個電腦可讀儲存媒體)。處理器308可經實施為一數位信號處理器、一控制器、一應用處理器、另一處理器(例如,智慧手機102之電腦處理器202)或其等某個組合。可包含於智慧手機102之電腦可讀媒體204內或與智慧手機102之電腦可讀媒體204分離之系統媒體310包含以下模組之一或多者:一衰減緩解器314、一數位波束成形器316、一角度估計器318或一功率管理器320。此等模組可補償或緩解在智慧手機102內整合雷達系統104之效應,由此使雷達系統104能夠辨識小或複雜手勢,區分使用者之不同定向,持續地監測一外部環境,或實現一目標誤報率。利用此等特徵,可在各種不同器件(諸如圖2中所繪示之器件)內實施雷達系統104。
使用通信介面302,雷達系統104可將雷達資料提供給基於雷達之應用程式106。通信介面302可為基於獨立於智慧手機102實施或經整合於智慧手機102內之雷達系統104之一無線或有線介面。取決於應用,雷達資料可包含原始或最小處理資料、同相正交(I/Q)資料、距離-都卜勒資料、包含目標位置資訊(例如,距離、方位角、仰角)之處理資料、雜波圖資料等。通常,雷達資料含有可由基於雷達之應用程式106用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之資訊。
天線陣列304包含至少一個傳輸天線元件(未展示)及至少兩個接收天線元件(如圖4中所展示)。在一些情況下,天線陣列304可包含多個傳輸天線元件以實施能夠一次傳輸多個相異波形之多輸入多輸出(MIMO)雷達(例如,每傳輸天線元件一不同波形)。使用多個波形可增加雷達系統104之一量測精度。接收天線元件可以一維形狀(例如,一線)或二維形狀定位以用於包含三個或更多個接收天線元件之實施方案。一維形狀使雷達系統104能夠量測一個角度尺寸(例如,一方位角或一仰角),而二維形狀使得能夠量測兩個角度尺寸(例如,方位角及仰角兩者)。關於圖4進一步描述接收天線元件之實例性二維配置。
圖4繪示接收天線元件402之實例性配置400。例如,若天線陣列304包含至少四個接收天線元件402,則接收天線元件402可經配置成一矩形配置404-1,如圖4中間所描繪。替代地,若天線陣列304包含至少三個接收天線元件402,則可使用三角形配置404-2或L形配置404-3。
歸因於智慧手機102之一大小或佈局約束,接收天線元件402之間的一元件間隔或接收天線元件402之一數量對於雷達系統104待監控之角度而言可能係非理想的。特定而言,元件間隔可引起存在角模糊度,此使習知雷達估計一目標之一角位置具挑戰性。因此,習知雷達可限制一視場(例如,待監測角度)以避免具有角模糊度之一模糊區,且由此減少錯誤偵測。例如,習知雷達可將視場限於介於近似-45度至45度之間的角度以避免使用一5毫米(mm)波長及一3.5 mm元件間隔(例如,元件間隔為70%之波長)發生之角模糊度。因此,習知雷達可能無法偵測超過視場之45度極限之目標。相比之下,雷達系統104包含數位波束成形器316及角度估計器318,其等解析角模糊度且使雷達系統104能夠監測超過45度極限之角度(諸如介於近似-90度至90度或介於至多近似-180度與180度之間的角度)。可跨一或多個方向(例如,方位角及/或仰角)應用此等角度範圍。據此,雷達系統104可實現各種不同天線陣列設計之低誤報率,包含小於、大於或等於雷達信號之一半中心波長之元件間隔。
使用天線陣列304,雷達系統104可形成經導向或未經導向、寬或窄或經塑形(例如,半球、立方體、扇形、錐形或圓柱形)之波束。作為一實例,一或多個傳輸天線元件(未展示)可具有一未經導向全向輻射場型或可能夠產生一寬波束,諸如寬傳輸波束406。此等技術之任一者使雷達系統104能夠照明大空間體積。然而,為了達成目標角精度及角解析度,可使用接收天線元件402及數位波束成形器316來產生數千個窄且經導向之波束(例如,2000個波束、4000個波束或6000個波束),諸如窄接收波束408。以此方式,雷達系統104可有效地監測外部環境且準確地判定外部環境內之反射之到達角度。
返回至圖3,收發器306包含用於經由天線陣列304傳輸及接收雷達信號之電路及邏輯。收發器306之組件可包含用於調節雷達信號之放大器、混頻器、開關、類比轉數位轉換器、濾波器等。收發器306亦可包含用來執行同相/正交(I/Q)操作(諸如調變或解調變)之邏輯。收發器306可經組態用於連續波雷達操作或脈衝雷達操作。可使用各種調變來產生雷達信號,包含線性頻率調變、三角形頻率調變、步進頻率調變或相位調變。
收發器306可在一頻率範圍(例如,一頻譜)內產生雷達信號,諸如介於1吉赫(GHz)與400 GHz之間、介於4 GHz與100 GHz之間或介於57 GHz與63 GHz之間。頻譜可分成具有一類似頻寬或不同頻寬之多個子頻譜。頻寬可為大約500兆赫(MHz)、1 GHz、2 GHz等。作為一實例,不同頻率子頻譜可包含介於近似57 GHz與59 GHz之間、59 GHz與61 GHz之間或61 GHz與63 GHz之間的頻率。亦可為相干性選擇具有一相同頻寬且可連續或非連續之多個頻率子頻譜。多個頻率子頻譜可使用單個雷達信號或多個雷達信號同時或在時間上分離地傳輸。連續頻率子頻譜使雷達信號能夠具有一更寬頻寬,而非連續頻率子頻譜可進一步強調使角度估計器318能夠解析角模糊度之振幅及相位差。衰減緩解器314或角度估計器318可引起收發器306利用一或多個頻率子頻譜來改良雷達系統104之效能,如關於圖5及圖6進一步描述。
功率管理器320使雷達系統104能夠在智慧手機102內部或外部節省功率。例如,在內部,功率管理器320可引起雷達系統104使用一預定義功率模式或一特定工作循環收集資料。功率管理器320在不同功率模式之間動態地切換而非以一低功率模式或一高功率模式操作,使得基於環境內之活動一起管理回應延遲及功率消耗。通常,功率管理器320判定何時及如何節省功率,且增量地調整功率消耗以使雷達系統104能夠在智慧手機102之功率限制內操作。在一些情況下,功率管理器320可監測一剩餘可用功率量且據此調整雷達系統104之操作。例如,若剩餘功率量為低,則功率管理器320可繼續以低功率模式操作而非切換至更高功率模式。
例如,低功率模式可使用大約幾赫(例如,近似1 Hz或小於5 Hz)之一低工作循環,此將功率消耗降低至幾毫瓦(mW) (例如,介於近似2 mW與5 mW之間)。另一方面,高功率模式可使用大約數十赫(Hz) (例如,近似20 Hz或大於10 Hz)之一高工作循環,此引起雷達系統104消耗大約幾毫瓦(例如,介於近似8毫瓦與20毫瓦之間)之功率。雖然低功率模式可用來監測外部環境或偵測一正在靠近之使用者,但若雷達系統104判定使用者開始執行一手勢,則功率管理器320可切換至高功率模式。不同觸發可引起功率管理器320在不同功率模式之間切換。實例性觸發器包含使用者之運動或缺乏運動、使用者之出現或消失(例如,使用者之存在或不存在)、使用者移入或移出一指定區域(例如,由範圍、方位角或仰角界定之一區域)、使用者距智慧手機102之一距離(諸如上文所描述之察覺距離706)、與使用者相關聯之一運動之速度之一變化或反射信號強度之一變化(例如,歸因於雷達截面之變化)。通常,指示使用者與智慧手機102互動之一較低概率之觸發器或使用一較長回應延遲收集資料之一偏好可引起一較低功率模式啟動以節省功率。
功率管理器320亦可藉由在非作用時間週期內關閉收發器306內之一或多個組件(例如,一壓控振盪器、一多工器、一類比轉數位轉換器、一鎖相迴路或一晶體振盪器)來節省功率。若雷達系統104未主動地傳輸或接收雷達信號,則出現此等非作用時間週期(其等可為微秒(µs)、毫秒(ms)或秒(s)數量級)。例如,當不存在使用者時或當存在一使用者時,可出現一非作用時間週期,但判定未關注智慧手機102 (例如,基於本說明書中所描述之一或多個注意提示)。另外,功率管理器320可控制雷達系統104內之不同硬體組件之使用以節省功率。例如,若處理器308包括一低功率處理器及一高功率處理器(例如,具有不同量之記憶體及運算能力之處理器),則功率管理器320可在利用用於低位準分析(例如,偵測運動、判定一使用者之一位置或監測環境)之低功率處理器與用於其中由基於雷達之應用程式106請求高保真度或準確雷達資料之情境(例如,用於手勢辨識或使用者定向)之高功率處理器之間切換。
除上文所描述之內部功率節省技術以外,功率管理器320亦可藉由啟動或撤銷啟動智慧手機102內之其他外部組件或感測器來節省智慧手機102內之功率。此等外部組件可包含揚聲器、一相機感測器、一全球定位系統、一無線通信收發器、一顯示器、一陀螺儀或一加速度計。因為雷達系統104可使用少量功率來監測環境,所以功率管理器320可基於使用者所處之位置或使用者所做之事適當地開啟或關閉此等外部組件。以此方式,智慧手機102可無縫地回應於使用者且節省功率而無需使用自動關斷計時器或使用者實體地觸碰或口頭地控制智慧手機102。
圖5繪示智慧手機102內之雷達系統104之一實例性實施方案500之額外細節。在實例500中,天線陣列304經定位於智慧手機102之一外部殼體下方,諸如一玻璃蓋或一外殼。取決於其材料性質,外部殼體可充當一衰減器502,衰減器502使由雷達系統104傳輸及接收之雷達信號衰減或失真。衰減器502可包含不同類型之玻璃或塑膠,一些玻璃或塑膠可在智慧手機102之顯示螢幕、外部殼體或其他組件內發現且具有介於近似4與10之間的一介電常數(例如,相對介電係數)。據此,衰減器502對一雷達信號506係不透明或半透明的,且可引起一經傳輸或經接收之雷達信號506之一部分被反射(如由一反射部分504所展示)。針對習知雷達,衰減器502可減小可監控之一有效範圍,防止偵測到小目標,或降低總精度。
假定雷達系統104之一傳輸功率係有限的且不期望重新設計外部殼體,則調整雷達信號506之一或多個衰減相依性質(例如,一頻率子頻譜508或一轉向角510)或衰減器502之衰減相依特性(例如,衰減器502與雷達系統104之間的一距離512或衰減器502之一厚度514)以減輕衰減器502之效應。可在製造期間設定或在雷達系統104之操作期間由衰減緩解器314調整一些此等特性。例如,衰減緩解器314可引起收發器306使用選定頻率子頻譜508或轉向角510傳輸雷達信號506,引起一平台移動雷達系統104以更接近或更遠離衰減器502以改變距離512,或提示使用者應用另一衰減器來增加衰減器502之厚度514。
可藉由衰減緩解器314基於衰減器502之預定特性(例如,儲存於智慧手機102之電腦可讀媒體204中或系統媒體310內之特性)或藉由處理雷達信號506之回波以量測衰減器502之一或多個特性來進行適當調整。即使一些衰減相依特性係固定的或受約束的,衰減緩解器314仍可考量此等限制以平衡各參數且達成一目標雷達效能。因此,衰減緩解器314使雷達系統104能夠實現增強之精度及較大之有效範圍以偵測及追蹤定位於衰減器502之一相對側上之使用者。此等技術提供增加傳輸功率(此增加雷達系統104之功率消耗)或改變衰減器502之材料性質(一旦器件投入生產,此可係困難且昂貴的)之替代物。
圖6繪示由雷達系統104實施之一實例性方案600。方案600之部分可由處理器308、電腦處理器202或其他硬體電路執行。可客製化方案600以支援不同類型之智慧手機102及基於雷達之應用程式106,且亦使雷達系統104能夠達成目標角精度,而不受設計約束。
收發器306基於接收天線元件402對一經接收之雷達信號之個別回應而產生原始資料602。經接收之雷達信號可與由角度估計器318選擇以促進角模糊度解析之一或多個頻率子頻譜604相關聯。例如,可選擇頻率子頻譜604以減小旁瓣之一數量或減小旁瓣之一振幅(例如,將振幅減小達0.5 dB、1 dB或更多)。可基於雷達系統104之一目標角精度或運算限制判定頻率子頻譜之一數量。
原始資料602含有分別與接收天線元件402相關聯之一時間週期、不同波數及多個頻道之數位資訊(例如,同相及正交資料)。對原始資料602執行快速傅立葉變換(FFT) 606以產生預處理資料608。預處理資料608包含跨時間週期、針對不同距離(例如,距離分格(bin))及多個頻道之數位資訊。對預處理資料608執行都卜勒濾波程序610以產生距離-都卜勒資料612。都卜勒濾波程序610可包括產生多個距離分格、多個都卜勒頻率及多個頻道之振幅及相位資訊之另一FFT。數位波束成形器316基於距離-都卜勒資料612產生波束成形資料614。波束成形資料614含有一組方位角及/或仰角之數位資訊,該數位資訊表示由數位波束成形器316形成不同轉向角或波束之視場。儘管未描繪,但數位波束成形器316可替代地基於預處理資料608產生波束成形資料614,且都卜勒濾波程序610可基於波束成形資料614產生距離-都卜勒資料612。為了減少運算數量,數位波束成形器316可基於一所關注距離、時間或都卜勒頻率間隔處理距離-都卜勒資料612或預處理資料608之一部分。
可使用單視波束成形器616、多視干涉儀618或多視波束成形器620實施數位波束成形器316。通常,單視波束成形器616可用於確定性物件(例如,具有單個相位中心之點源目標)。針對非確定性目標(例如,具有多個相位中心之目標),使用多視干涉儀618或多視波束成形器620以相對於單視波束成形器616改良精度。人類係一非確定性目標之一實例且具有可基於不同方向角(如624-1及624-2所展示(例如,由於一使用者相對於智慧手機102之定向之變化,諸如轉向或避開、傾向、或移動接近或遠離))變化之多個相位中心622。由多個相位中心622產生之相長或相消干涉之變動可使習知雷達準確地判定角位置係具挑戰性的。然而,多視干涉儀618或多視波束成形器620執行相干平均化以增加波束成形資料614之一精度。多視干涉儀618相干地平均化兩個頻道以產生可用來準確地判定角資訊之相位資訊。另一方面,多視波束成形器620可使用線性或非線性波束成形器相干地平均化兩個或更多個頻道,諸如傅立葉、Capon、多信號分類(MUSIC)或最小方差無失真回應(MVDR)。經由多視波束成形器620或多視干涉儀618提供之增加之精度使雷達系統104能夠辨識小手勢或區分使用者之多個部分。
角度估計器318分析波束成形資料614以估計一或多個角位置。角度估計器318可利用信號處理技術、圖案匹配技術或機器學習。角度估計器318亦解析可能由雷達系統104之一設計或雷達系統104監測之視場引起之角模糊度。在一振幅曲線圖626內展示一實例性角模糊度(例如,振幅回應)。
振幅曲線圖626描繪可針對目標之不同角位置及針對不同轉向角510出現之振幅差。針對定位於一第一角位置630-1處之一目標展示一第一振幅回應628-1 (用一實線繪示)。同樣地,針對定位於一第二角位置630-2處之目標展示一第二振幅回應628-2 (用一虛線繪示)。在此實例中,該等差被視為跨介於-180度與180度之間的角度。
如振幅曲線圖626中所展示,兩個角位置630-1及630-2存在一模糊區。第一振幅回應628-1在第一角位置630-1處具有一最高峰值且在第二角位置630-2處具有一較小峰值。雖然最高峰值對應於目標之實際位置,但較小峰值引起第一角位置630-1模糊,因為其處於某個臨限值內,其中習知雷達可能無法確信地判定目標是否處於第一個角位置630-1或或第二角位置630-2。相比之下,第二振幅回應628-2在第二角位置630-2處具有一較小峰值且在第一角位置630-1處具有一較高峰值。在此情況下,較小峰值對應於目標之位置。
雖然習知雷達可限於使用一最高峰值振幅來判定角位置,但角度估計器318代替地分析振幅回應628-1及628-2之形狀之細微差異。形狀之特性可包含例如滾降、峰值或零點寬度、峰值或零點之一角位置、峰值及零點之一高度或深度、旁瓣之形狀、振幅回應628-1或628-2內之對稱性、或振幅回應628-1或628-2內之對稱性之缺乏。可在一相位回應中分析類似形狀特性,此可提供用於解析角模糊度之額外資訊。因此,角度估計器318將唯一角訊符或圖案映射至一角位置。
角度估計器318可包含可根據智慧手機102之類型(例如,運算能力或功率約束)或基於雷達之應用程式106之一目標角解析度選擇之一套演算法或工具。在一些實施方案中,角度估計器318可包含一神經網路632、一廻旋神經網路(CNN) 634或一長短期記憶體(LSTM)網路636。神經網路632可具有各種深度或數量之隱藏層(例如,3個隱藏層、5個隱藏層或10個隱藏層)且亦可包含不同數量之連接(例如,神經網路632可包括一完全連接之神經網路或一部分連接之神經網路)。在一些情況下,CNN 634可用來增加角度估計器318之運算速度。LSTM網路636可用來使角度估計器318能夠追蹤目標。使用機器學習技術,角度估計器318採用非線性函數來分析振幅回應628-1或628-2之形狀且產生角概率資料638,角概率資料638指示使用者或使用者之一部分在一角分格內之一可能性。角度估計器318可針對幾個角分格(諸如兩個角分格,以提供一目標位於智慧手機102左側或右側之概率)或針對數千個角分格(例如,以提供用於一連續角量測之角概率資料638)提供角概率資料638。
基於角概率資料638,一追蹤器模組640產生角位置資料642,角位置資料642識別目標之一角位置。追蹤器模組640可基於角概率資料638中具有一最高概率之角分格或基於預測資訊(例如,先前量測之角位置資訊)判定目標之角位置。追蹤器模組640亦可追蹤一或多個移動目標以使雷達系統104能夠確信地區分或識別目標。亦可使用其他資料來判定角位置,包含距離、都卜勒、速度或加速度。在一些情況下,追蹤器模組640可包含一α-β追蹤器、一卡爾曼(Kalman)濾波器、一多重假設追蹤器(MHT)等。
一量化器模組644獲得角位置資料642且量化該資料以產生經量化之角位置資料646。可基於基於雷達之應用程式106之一目標角解析度執行量化。在一些情境中,可使用較少量化位準使得經量化之角位置資料646指示目標是否在智慧手機102右側或左側,或識別目標所在之一90度象限。此對於一些基於雷達之應用程式106(諸如使用者接近度偵測)可係足夠的。在其他情境中,可使用較大量量化位準使得經量化之角位置資料646指示目標在幾分之一度、1度、5度等之一精度內之一角位置。此解析度可用於較高解析度之基於雷達之應用程式106,諸如手勢辨識。在一些實施方案中,數位波束成形器316、角度估計器318、追蹤器模組640及量化器模組644一起實施於單個機器學習模組中。
下文闡述此等及其他能力及組態,以及圖1至圖6之實體行動及互動之方式。所描述的實體可進一步劃分、組合、連同其他感測器或組件一起使用等。以此方式,具有雷達系統104及非雷達感測器之不同組態之智慧手機102之不同實施方案可用來實施用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統。圖1之實例性操作環境100及圖2至圖6之詳細圖解僅繪示能夠採用所描述技術之一些諸多可能環境及器件。實例 系統
如上述,本文中所描述之技術及系統亦可使智慧手機102能夠基於一使用者之存在提供功能性且自使用者接收3D手勢以與器件互動。圖7繪示另一實例性環境700,其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。實例性操作環境700包含智慧手機102,其包含或相關聯於雷達系統104及一基於雷達之應用程式702。在一些實施方案中,智慧手機102可包含一顯示器,諸如顯示器108。雖然在智慧手機102之內容背景下繪示實例性操作環境700,但如上文參考圖1及圖2所描述之其他電子器件亦可用來實施參考圖7至圖20所描述之特徵及技術。在實例性環境700中,雷達系統104提供如上文參考圖1至圖6所描述之雷達場110。雷達系統104亦使智慧手機102能夠感測及分析來自雷達場110中之一物件704之反射。在關於圖7至圖20所描述之實例中,智慧手機102係智慧手機102,但所描述特徵及技術可與各種電子器件之任一者一起使用(例如,如參考圖2所描述)。
如圖7中所展示,物件704係一人或智慧手機102之一使用者(人704或使用者704),但物件704可為雷達系統104可感測及分析來自其等之反射之各種物件之任一者,諸如木材、塑膠、金屬、織物或有機材料(例如,使用者704)。基於反射之分析,雷達系統104可提供如上文參考圖1至圖6所描述之雷達資料且可將雷達資料傳遞給其他實體,諸如基於雷達之應用程式702。
基於雷達之應用程式702可為可使用雷達資料來判定在智慧手機102之一察覺距離706內存在使用者704之各種基於雷達之應用程式之任一者。察覺距離可為任何適當距離,諸如3英尺、7英尺、10英尺或14英尺(或1米、2米、3米或4米),且可與雷達場110之範圍一致,如圖7之一詳細視圖700-1中所展示。在其他情況下,察覺距離706可小於雷達場110之一最大範圍。察覺距離706可為預定義、使用者可選擇或經由一機器學習模組判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式702。
基於在智慧手機102之察覺距離706內存在使用者704,基於雷達之應用程式702可為智慧手機102提供基於存在之特徵或功能(例如,經由顯示器108)。例如,如圖7之一詳細視圖700-2中所展示,使用者704已移動朝向智慧手機102 (由一箭頭710所展示)且在察覺距離706內。作為回應,智慧手機102提供一基於存在之功能,諸如包含一語音介面之一電子助理(被展示為一文字氣泡(「您好」) 712)。另外,基於雷達之應用程式702可使用雷達資料來判定使用者704在察覺距離706之外,且基於在察覺距離706內存在使用者704之變化修改或停止提供基於存在之特徵或功能。以此方式,可使用在察覺距離706內存在使用者704來提供與智慧手機102互動之輸入或指令。
基於雷達之應用程式702可包含一存在模組708或與一存在模組708通信,存在模組708可將與(基於雷達資料)判定在察覺距離706內存在使用者704相關之資訊以及與基於在察覺距離706內存在使用者704之特徵及功能相關之資訊兩者儲存於一內部或外部記憶體中。在一些實施方案中,基於雷達之應用程式702可使用由存在模組708儲存之資訊判定在察覺距離706內存在或不存在使用者704。在其他實施方案中,存在模組708本身可判定在察覺距離706內存在或不存在使用者704。如圖7中所展示,存在模組708包含於基於雷達之應用程式702中,但存在模組708可為一單獨實體,其係基於雷達之應用程式702或智慧手機102之部分或與基於雷達之應用程式702或智慧手機102分離。在實例100或700之任一者之一些實施方案中,存在模組708及(圖1之)定向模組114可為單個模組,其可執行參考存在模組708及定向模組114兩者或組合基於雷達之應用程式106或702之任一者所描述之操作。
基於雷達之應用程式106亦可包含一3D手勢模組(例如,3D手勢模組116)或與該3D手勢模組通信,該3D手勢模組可儲存與基於雷達資料判定一3D手勢(例如,使用者704之一3D手勢)相關之資訊及與對應於3D手勢之動作相關之資訊兩者。因此,基於雷達之應用程式702可偵測使用者704之3D手勢且判定對應於3D手勢之一動作。一3D手勢可為各種手勢之任一者,包含藉由沿一水平維度(例如,自智慧手機102之一左側至智慧手機102之一右側)在智慧手機102上方移動一手而做出之一滾動手勢、藉由使用者之手臂繞一肘部旋轉而做出之一揮動手勢、藉由沿一垂直維度(例如,自智慧手機102之一底側至智慧手機102之一頂側)在智慧手機102上方移動使用者之手而做出之一推動手勢。亦可做出其他類型之3D手勢或運動,諸如藉由將使用者之手移動朝向智慧手機102而做出之一伸手手勢、藉由捲曲使用者之手之手指以抓握一假想門把手且以一順時針或逆時針方式旋轉以模擬轉動假想門把手之一動作而做出之一把手轉動手勢、及藉由一起摩擦一拇指及至少另一手指而做出之一主軸扭轉手勢。可由雷達系統104偵測此等實例性手勢類型之各者。在偵測此等手勢之各者之後,智慧手機102可執行一動作,諸如顯示新內容、移動一游標,啟動一或多個感測器,打開一應用,控制一遊戲,將內容釘紮至一螢幕,使一鬧鐘無聲,控制一使用者介面或操縱一AR元件。以此方式,雷達系統104提供智慧手機102之無觸碰控制。
如參考詳細視圖700-2所描述,基於存在之功能可為在使用者704處於察覺距離706內時提供一電子助理或一語音介面特徵。在其他實施方案中,基於存在之功能可為如參考圖8至圖12所描述之另一功能。
圖8繪示一實例800,其中基於存在之功能係一電鈴、警報或通知之一音量之一調整。在一詳細視圖800-1中,一使用者802相對遠離智慧手機102且在察覺距離706之外(由一虛線橢圓706所展示),且電鈴音量處於由使用者802設定之一預設位準之100%,如由電鈴圖示804所展示。相反,在一詳細視圖800-2中,一使用者806相對接近智慧手機102且在察覺距離706內(再次由虛線橢圓706所展示),且音量減小,如由較小電鈴圖示808所展示。音量可減小達任何適當量(例如,25%、50%或75%),且該減小可基於各種因素之任一者,諸如使用者804與智慧手機102之間的一距離或一預設定或使用者選擇量。
圖9繪示一實例900,其中基於存在之功能係由智慧手機102所包含之一電子助理使用之一通信模式之一調整。電子助理可以各種模式與使用者通信,提供文字、音訊、視訊等(例如,在顯示器108上)。在一詳細視圖900-1中,一使用者902相對遠離智慧手機102且在察覺距離706之外(由一虛線橢圓706所展示),且電子助理以一語音模式互動,而不開啟顯示器108 (如由電鈴圖示904及智慧手機102之暗顯示器108所展示)。接著,一詳細視圖900-2展示使用者902相對接近智慧手機102且在察覺距離706內(再次由虛線橢圓706所展示),且電子助理用可掃視顯示資訊906 (例如,一眼便可閱讀或理解之資訊,諸如大文字、符號或動畫)補充詳細視圖900-1之音訊通信模式(電鈴圖示904),如顯示器108上所展示。以此方式,所描述技術可藉由將顯示器108之使用限於適合使用者902之存在之一位準來降低智慧手機102之功率消耗。
在一些實施方案中,通信模式之調整亦可包含顯示器108上呈現之內容之一調整。例如,在一詳細視圖900-3中,使用者902拾取智慧手機102。如上述,基於雷達之應用程式702可能夠判定3D手勢及對應動作(例如,使用3D手勢模組116)。因此,當使用者902朝向智慧手機102伸手時,基於雷達之應用程式702可判定伸手係3D手勢且對應動作係電子助理使使用者902能夠進行文字輸入且提供更豐富之視覺資訊908 (例如,更多及更小文字、嵌入式鏈接及視訊),如顯示器108上所展示。
圖10繪示一實例1000,其中基於存在之功能提供在察覺距離內存在物件之一通知。如上文所描述,智慧手機102 (例如,經由雷達系統104)可偵測一使用者是否在智慧手機102之察覺距離內及使用者是否獨處或與他人一起。使用此資訊,智慧手機102 (例如,經由基於雷達之應用程式702)可提供使用者相對於智慧手機102之狀態之一通知(例如,使用者之一「空間關係學內文」,諸如使用者是否有空(獨處)、與人一起、離開等)。該通知可經提供給儲存於智慧手機102上或可由智慧手機102存取之一或多個聯繫人,且可以各種方式之任一者提供,諸如藉由當另一方查看使用者之聯繫人資訊時顯示之一文字訊息或一狀態指示符。
例如,在一詳細視圖1000-1中,一使用者1002 (其手機包含基於存在之特徵)審查包含亦含有基於存在之特徵之手機(或其他電子器件)之一些聯繫人之一聯繫人清單1004 (用虛線括號所展示)。在詳細視圖1000-1中,前四個聯繫人提供與聯繫人相關聯之使用者之存在之通知(例如,George離開,Susie及Marie與人在一起,且Ingrid有空)且後兩個聯繫人未提供通知(例如,因為聯繫人已關閉基於存在之特徵,聯繫人之手機不支援基於存在之特徵,或出於另一原因)。在一詳細視圖1000-2中,使用者1002選擇Susie之聯繫人圖示,且基於存在之功能提供用於聯繫Susie之選項1006。如上述,Susie之通知指示他人與Susie在一起,且選項1006因此可包含發送一訊息(MESSAGE),現在呼叫(CALL),或當Susie不再與他人在一起時呼叫(CALL WHEN ALONE)。
在一詳細視圖1000-3中,假定當Susie不再與他人在一起時,使用者1002選擇呼叫之選項1006。使用選項1006,使用者1002及Susie兩者(展示為另一使用者1008)同時在由智慧手機102及Susie之手機周圍之振動指示符所繪示之連接的好時間接收一手機呼叫。在一些實施方案中,多少聯繫人及哪些聯繫人接收通知可為使用者可選擇的或基於一預設設定。另外,選項1006可由使用者1008 (例如,Susie)進行使用者選擇,使得使用者1008可在被提供通知時判定一呼叫方(例如,使用者1002)所具有之選項。
提供在察覺距離內存在物件之一通知之基於存在之功能亦可藉由廣播存在資訊或將存在資訊發送至特定聯繫人來增強遠端協作工具。例如,在一文件共享應用中,通知可幫助遠端使用者判定另一使用者是否實際上位於電腦前方或僅僅保持文件共享應用打開。在一些情況下,基於雷達之應用程式702可提供通知之額外細節。例如,使用額外感測器或特徵(例如,一地理位置特徵或一免提駕駛特徵),通知可包含允許使用者理解一呼叫之潛在接收者在一汽車中,正在駕駛(或不駕駛)及與他人在一起之資訊。當通知指示潛在接收者與他人在一起時,基於雷達之應用程式702亦可建議其他通信方法,諸如藉由建議電子郵件作為避免與他人在一起之人(例如,可能在開會之人)分心之一方式。
圖11繪示一實例1100,其中基於存在之功能提供一先前呈現之提醒之一通知。在一詳細視圖1100-1中,一使用者1102經由一電子助理使用一語音命令(展示為一文字氣泡1104)設定一提醒。在一詳細視圖1100-2中,假定使用者1102在察覺距離706之外之一位置處做家務。在使用者1102位於察覺距離706之外之時間期間,提醒時間流逝且在使用者1102離開時呈現提醒。在一些實施方案中,因為智慧手機102知道使用者離開,所以可能根本不呈現提醒,或可以一較低音量或以一不同模式(例如,文字而非語音)呈現提醒。在一詳細視圖1100-3中,假定使用者1102在應呈現提醒之後30分鐘返回。當智慧手機102判定使用者1102在察覺距離706內時,呈現提醒(展示為一文字氣泡1106)。在一些實施方案中,提醒可包含可幫助使用者1102之額外資訊。例如,建議透過一乾衣機洗滌衣物幾分鐘以減少起皺,或建議改變一餐廳預訂等。
圖12繪示一實例1200,其中基於存在之功能提供一增強之媒體體驗。例如,壁紙地圖及其他數位內容可包含動畫及深度。在一詳細視圖1200-1中,一使用者1202閱讀一書籍且接著伸手去拿智慧手機102。顯示器108自動地開啟且呈現一短壁紙動畫1204。在詳細視圖1200-1中,壁紙動畫1204係展示使用者1202已閱讀多長時間之一鐘面,但可呈現其他壁紙動畫1204 (一最愛電影剪輯、一使用者錄製視訊等)。壁紙動畫1204可為任何適當長度(例如,1秒、2秒或3秒),且可為使用者選擇的或由基於雷達之應用程式702選擇。在一些實施方案中,當使用者1202撤回伸出之手時,反向顯示壁紙動畫1204 (例如,向後運行之鐘面以顯示使用者1202開始閱讀之時間)。基於雷達之應用產生702可基於一使用者之存在呈現其他內容。例如,在一詳細視圖1200-2中,一使用者1206在察覺距離706內,且作為回應,基於雷達之應用程式702呈現一最愛影像1208。
此外,使用如參考圖3至圖6所描述之數位波束成形及其他技術,雷達系統104可判定使用者之觀看角度。接著,基於雷達之應用程式702可動態地調整顯示器108上呈現之影像以適應使用者之視點且由此在顯示器108上產生三維空間之一錯覺。例如(圖12中未展示)假定使用者之智慧手機在一桌子上且在顯示器上呈現三維(3D)物件(一地圖、一雕塑、一建築物等)。當使用者在桌子周圍移動時,3D物件之呈現改變以適應使用者之視點,從而藉由向使用者提供在一真實物件周圍移動之表象來豐富三維錯覺。在一些實施方案中,使用者可旋轉器件,而非圍繞一固定器件移動,且自不同角度看見3D物件。
在其他實施方案中,智慧手機102可使用例如基於雷達之應用程式702或另一實體判定在物件704位於察覺距離內的同時存在一個以上物件(例如,判定在察覺距離706內存在另一物件)。作為回應,基於雷達之應用程式702可修改智慧手機102之基於存在之功能。下文參考圖13及圖14描述此等實施方案之若干實例。
圖13繪示一實例1300,其中基於存在之功能之修改係基於在察覺距離706內存在另一物件而對由智慧手機102使用之一通知模式之一調整。在一詳細視圖1300-1中,一使用者1302及另一使用者1304一起坐在一桌子旁。因為基於雷達之應用程式702可判定使用者1302及另一使用者1304兩者在察覺距離706內,所以基於雷達之應用程式702修改智慧手機102之通知模式。在一些實施方案中,可使通知完全無聲(例如,在顯示器108上未呈現任何內容)。在其他實施方案中,如詳細視圖1300-1中所展示,可修改通知模式使得僅顯示通知指示符1306而非完整通知。例如,指示一通知(例如,行事曆事件通知、任務通知或其他使用者定義通知)可供觀看之一圖示而非通知本身。以此方式,智慧手機102較少侵入一商業或社交場合中,且未公開顯示可在完整通知中顯示之潛在私人資訊。
智慧手機102可以各種方式返回至一預設通知模式,或返回至在另一使用者1304進入察覺距離706之前操作之一通知模式。例如,如一詳細視圖1300-2中所展示,使用者1302可朝向智慧手機102伸手以返回至先前通知模式(如由一箭頭1308所展示)。在返回至先前通知模式時,可由智慧手機102呈現經接收之通知之內容1310。在其他實施方案中,可使用一不同3D手勢來返回至先前通知模式,或當判定另一使用者1304不再處於察覺距離706內時智慧手機可自動地返回至先前通知模式。
圖14繪示一實例1400,其中基於存在之功能之修改係基於在察覺距離706內存在另一物件而對由智慧手機102使用之一電子助理模式之一調整。例如,當一使用者獨處時,電子助理可提供包含潛在私人資訊(例如,一個人提醒或一工作相關事件之內容)之提醒及通知,但當存在他人時限制內容。
考量一詳細視圖1400-1,其中一使用者1402獨處且在察覺距離706內。因為使用者1402獨處,所以電子助理可使用一語音介面來為使用者1402提供一服藥音訊提醒(經由一文字氣泡1404展示,其指示將在10分鐘內提供另一音訊提醒)。假定幾分鐘後(不足10分鐘後),另一使用者1406順道拜訪,如另一詳細視圖1400-2中所展示。另一使用者1406在察覺距離706內坐下,且基於雷達之應用程式702修改電子助理模式使得不提供音訊(如由一靜音圖示1408所展示)。除音訊以外,可使通知無聲直至另一使用者1406離開,或提醒可以提供更多隱私之另一模式(諸如一振動模式、一文字模式或一通知指示符模式)提供,如參考圖13所描述。
在另一實例(未繪示)中,當另一使用者1406進入察覺距離706時,使用者1402可觀看或收聽內容。即使使用者1402未注意到另一使用者1406已進入察覺距離706內,智慧手機102 (經由基於雷達之應用程式或其他實體,諸如語音助手)可辨識另一使用者之存在且暫時暫停或隱藏內容(例如,在私人或機密內容之情況下)。
在其他實施方案(包含上述實例之任一者之實施方案)中,智慧手機102 (使用基於雷達之應用程式702或另一實體)可組合其他感測器使用使用者是否獨處之判定。例如,智慧手機102可使用一麥克風來判定使用者周圍之一環境雜訊位準。接著,智慧手機102可基於存在及環境雜訊位準兩者將手機鈴聲音量、通知音量及語音助理音量調整至適當位準以吸引使用者之注意。另外,基於雷達之應用程式702可與其他感測器(例如,麥克風)通信,使得當偵測到另一使用者之語音(即使另一人在察覺距離706之外)時,仍執行對基於存在之特徵之修改。此外,使用上文所描述之3D手勢模組116,且當使用者朝向智慧手機102伸手時,智慧手機102可引起電鈴、通知及語音助理變得更安靜(或完全無聲),此係因為智慧手機102可判定使用者伸手係指示使用者即將回應之一3D手勢。
在又其他實施方案中,智慧手機102可(使用雷達資料)判定察覺距離內之一物件之一3D手勢且執行對應於3D手勢之一動作。3D手勢之判定可由各種實體(諸如基於雷達之應用程式702或3D手勢模組116)或由此等或其他實體之一組合執行。下文參考圖15至圖20描述此等實施方案之若干實例。
圖15繪示一實例1500,其中3D手勢係在啟動一釘紮模式之智慧手機102之顯示器上揮手,釘紮模式鎖定螢幕上之內容且阻止傳入通知直至一使用者退出釘紮模式。有時,即使當另一人在察覺距離706內時,使用者仍可能想要限制可透露給另一人之資訊。實例1500中所描述之技術允許使用者與另一人共享螢幕內容,而不暴露其他內容以及提醒及通知之細節。
在一詳細視圖1500-1中,假定一使用者1502想要將智慧手機102交給另一使用者1504以共享一照片。使用者1502想要保護個人資訊(諸如提醒及通知中之其他照片或內容)以免意外地洩露給另一使用者1504。使用者1502執行右至左揮手,如由一箭頭1506所展示,且基於雷達之應用程式702或另一實體將智慧手機102置於釘紮模式中。接著,使用者1502可將智慧手機102傳遞給另一使用者1504,如另一詳細視圖1500-2中所展示,其中個人資訊將不會洩露給另一使用者1504之置信度增加。
在另一實施方案(未展示)中,基於雷達之應用程式702可藉由使用雷達資料來判定器件正被傳遞給另一人而自動地將智慧手機102置於釘紮模式中。如上述,雷達系統104可使基於雷達之應用程式702能夠判定存在兩個使用者。藉由判定第一使用者與器件之間的相對距離以及器件相對於兩個使用者之定向,可自動地啟動釘紮模式,而無需一有意手勢。如所描述,此等技術為使用者提供一種採用簡單且謹慎之3D手勢來保護個人資訊同時仍允許他人觀看選定內容之方式。
圖16繪示一實例1600,其中3D手勢係朝向智慧手機102伸手以使一電鈴無聲。如上文所描述,基於雷達之應用程式702可基於一使用者與器件之間的一距離調整電鈴音量。有時,當使用者在察覺距離706內時,使用者可能想要在應答呼叫之前(或在判定呼叫者係誰時,而不應答呼叫)使電鈴無聲。在一詳細視圖1600-1中,一使用者1602坐在智慧手機102附近。智慧手機102正在振鈴,如由一鈴聲音量圖示1604所展示。假定使用者1602想要在決定是否應答之前使電鈴無聲。如一詳細視圖1600-2中所展示,使用者1602朝向智慧手機102伸手,如由一箭頭1606所展示。基於雷達之應用程式702將伸手判定為具有使電鈴無聲之一對應動作之3D手勢(由一靜音圖示1608所展示)。以此方式,實例1600中所描述之技術允許使用者藉由對手機伸手來使電鈴無聲,而無須應答呼叫或與器件控制互動。
圖17繪示一實例1700,其中3D手勢係朝向智慧手機102伸手以退出一全螢幕模式且存取一使用者介面上之控制件。如上文所描述,即使在使用者未與器件互動時,基於雷達之應用程式702可使用察覺距離706及注意提示以使一應用程式維持於一特定模式(例如,無可見控制件之一全螢幕模式)。在一些情況下,當使用者在察覺距離706內時,使用者可能想要與一應用程式之控制件互動而無需拾取器件或輕擊一選單。
在一詳細視圖1700-1中,一使用者1702坐在智慧手機102附近。在此實例中,假定使用者1702正在觀看一視訊且想要暫停視訊。如一詳細視圖1700-2中所展示,使用者1702朝向智慧手機102伸手,如由一箭頭1704所展示。基於雷達之應用程式702將伸手判定為具有退出全螢幕模式且提供一使用者介面或其他控制件(由一暫停圖示1706所展示)之一對應動作之3D手勢。在一些實施方案中,若使用者1702結束3D手勢(例如,停止伸手且拉回手),則恢復全螢幕模式。如實例1700中所展示及所描述,此等技術允許使用者退出全螢幕模式且藉由對手機伸手與使用者介面互動,而無須輕擊或以其他方式啟動使用者介面。
圖18繪示一實例1800,其中3D手勢係在恰當地定框一照片之後朝向智慧手機102伸手以存取相機控制件。如上文所描述,基於雷達之應用程式702可使用察覺距離706 (未展示)及注意提示以將一應用程式維持於一特定模式(例如,無可見控制件之一全螢幕模式)。在一些情境中,諸多相機控制件係非必需的且僅在一顯示器上產生障礙及雜波。因此,察覺距離706內之一使用者可能想要在一時間週期內(諸如在定框一照片時)具有無控制件之一全螢幕環境,且接著在完成定框之後與全控制件互動。
在一詳細視圖1800-1中,一使用者1802使用智慧手機102上之一相機定框一日落之一照片。在此實例中,假定使用者1802嘗試定框照片以包含特定景觀特徵以及日落,且想要在無控制件(或最小控制件,諸如快門按鈕1804)之情況下以全螢幕模式定框照片。如詳細視圖1800-1中所展示,使用者1802使用一隻手來定框照片,使得更多顯示器可見。在一詳細視圖1800-2中,使用者1802朝向智慧手機102伸手,如由一箭頭1806所展示。基於雷達之應用程式702將伸手判定為具有提供一使用者介面或其他控制件之一對應動作之3D手勢,諸如一裁剪視窗1808。在一些實施方案中,若使用者1802結束3D手勢(例如,停止伸手且拉回手),則恢復全螢幕模式。在其他實施方案中,基於雷達之應用程式702可判定使用者1802僅伸手以輕擊快門按鈕1804 (例如,藉由判定使用者1802伸手所及之位置)且接著僅呈現快門按鈕1804,而非所有額外控制件。如實例1800中所展示及所描述,此等技術允許使用者藉由對手機伸手而享受用於定框照片之全螢幕模式且與使用者介面互動,而無須輕擊或以其他方式啟動使用者介面。
圖19繪示一實例1900,其中3D手勢係朝向智慧手機102伸手以啟動一背光或其他光源使得智慧手機102更容易定位於一弱光環境中。如上文所描述,基於雷達之應用程式702可使用察覺距離706 (未展示)及注意提示以將一應用程式維持於一特定模式(例如,一暗螢幕模式以節省功率)。在一些情境中,一使用者甚至可能想要螢幕完全關閉,諸如在一有意黑暗環境中。因此,察覺距離706內之使用者可在睡覺或觀看一電影時使智慧手機102之螢幕關閉或處於暗模式,且接著想要少量光以幫助在黑暗環境中定位智慧手機102。
在一詳細視圖1900-1中,一使用者1902準備入睡。在此實例中,假定使用者1902忘記設定一鬧鐘且想要找到智慧手機102並設定鬧鐘。如詳細視圖1900-1中所展示,使用者1902朝向智慧手機102伸手(由一箭頭1904所展示)。基於雷達之應用程式702將伸手判定為具有提供一暗光(例如,一背光)之一對應動作之一3D手勢,如由一陰影區域1906所展示。在一詳細視圖1900-2中,假定使用者1902已將智慧手機102掉落在一劇院之地板上且在黑暗中無法看見智慧手機102以取回智慧手機102。使用者1902朝向智慧手機102伸手,如由另一箭頭1908所展示。基於雷達之應用程式702再次判定伸手係具有提供一光之一對應動作之一3D手勢(由另一陰影區域1910所展示)。
類似地,在一詳細視圖1900-3中,假定使用者1902已將智慧手機102放置於一包中。使用者1902朝向智慧手機102伸手,如由另一箭頭1912所展示。基於雷達之應用程式702再次判定伸手係具有提供一光之一對應動作之一3D手勢(由另一陰影區域1914所展示)。在一些實施方案中,若使用者結束3D手勢(例如,停止伸手且拉回手),則恢復暗螢幕模式。如實例1900中所展示及所描述,此等技術允許使用者使用暗螢幕模式來節省功率或減少由一黑暗環境中之一亮螢幕引起之分心,且能夠藉由朝向手機伸手來定位手機。在其他實施方案(未繪示)中,基於雷達之應用程式702判定伸手係一3D手勢,其具有開啟一振動模式之一對應動作,當使用者1902接近智慧手機102時,振動模式變得更強(例如,以一增加之頻率、振幅或兩者振動)。
另外,利用參考圖15至圖19所描述之技術,可使用3D手勢來提供圖17至圖19中未繪示之其他特徵。例如,一瀏覽器中之使用者介面元件(諸如一導覽欄)可在使用者對智慧手機102伸手時提供,且接著在使用者將手移開時消失。在另一實例中,當使用者朝向智慧手機102伸手時可自動地呈現一鎖定螢幕或主螢幕(例如,使用者無需按壓一開始或主按鈕來顯示鎖定螢幕)。在其他實施方案中,智慧手機102可偵測正在靠近之手之形狀或定向,且據此改變介面。例如,輸入表面可在使用者伸出一隻手(或伸出一根手指)時提供一觸控板介面,或在使用者伸出兩隻手時提供一全鍵盤。
在又其他實施方案中,智慧手機102可使用基於雷達之應用程式702或另一實體來判定在物件704位於察覺距離內的同時存在一個以上物件(例如,判定在物件位於察覺距離706內的同時在察覺距離706內存在另一物件)。回應於判定在察覺距離706內存在物件,基於雷達之應用程式702可判定察覺距離內之物件之3D手勢(例如,使用雷達資料)且執行對應於經判定之手勢之動作。智慧手機102亦可將物件彼此區分且追蹤由哪些物件做出哪些3D手勢。
圖20繪示一實例2000,其中察覺距離706內之物件(未展示)係用智慧手機(在此情況下係智慧手機102)玩遊戲之使用者且3D手勢用來控制遊戲。考量一詳細視圖2000-1中所繪示之一實例,其中一使用者2002及一使用者2004參與智慧手機102上之雙人遊戲。在詳細視圖2000-1中,使用者2004做出一3D手勢(由一左至右箭頭2006所展示)。回應於3D手勢,基於雷達之應用程式702可使遊戲能夠執行對應於3D手勢之一動作(例如,跨一中心線返回游戲環境中之一物件,如顯示器108上所展示)。以此方式,使用者2002及2004可控制智慧手機102上之遊戲,而不會模糊遊戲之視圖。
在一詳細視圖2000-2中所繪示之另一實例中,一使用者2008參與智慧手機102上之單人遊戲。在詳細視圖2000-2中,使用者2008做出一3D手勢(由一右至左箭頭2010所展示),且基於雷達之應用程式702可使遊戲能夠執行對應於3D手勢之一動作(例如,自右至左移動遊戲環境中之一物件)。由此,基於雷達之應用程式702可使用3D手勢來與應用程式(諸如游戲)互動,而不會妨礙使用者之視圖。以此方式,因為基於雷達之應用程式702可區分多個使用者與其等手勢,此可擴展遊戲環境且甚至在單個小螢幕或器件上提供一更佳且更身臨其境之多人遊戲體驗。實例 方法
圖21及圖22描繪啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之一實例性方法2100。方法2100可用包含提供一雷達場之一雷達系統之一電子器件(例如,上文所描述之智慧手機102)來執行。電子器件亦可包含一顯示器,諸如顯示器108。雷達場可用來判定電子器件相對於雷達場中之一物件之一定向,且提供電子器件之一基於定向之功能。雷達場亦可用來判定電子器件之定向之一變化且基於變化定向修改基於定向之功能。
方法2100被展示為一組方塊,其等指定經執行但不必限於為了執行各自方塊之操作所展示之順序或組合之操作。此外,可重複、組合、重組或鏈接一或多個操作之任一者以提供大量額外及/或替代方法。在下文論述之部分中,可參考圖1之實例性操作環境100或參考如圖2至圖20中所詳述之實體或程序(其等僅作為實例參考)。該等技術不限於由在一個器件上操作之一個實體或多個實體執行。
在2102,提供一雷達場。雷達場可由各種電子器件(例如,上文所描述之智慧手機102)之任一者提供,該等電子器件包含一雷達系統(例如,雷達系統104)及一基於雷達之應用程式(例如,基於雷達之應用程式106或702之任一者或兩者,其等可包含定向模組114、3D手勢模組116或存在模組708之一或多者及其等之任何組合)。此外,雷達場可為各種類型之雷達場之任一者,諸如上文所描述之雷達場110。
在2104,由雷達系統感測來自雷達場中之一物件之反射。物件可為各種物件之任一者,諸如木材、塑膠、金屬、織物或有機材料。例如,物件可為人或人之身體部位(例如,手),諸如如上文所描述之物件112或704。
在2106,分析來自雷達場中之物件之反射。該分析可由各種實體之任一者(例如,雷達系統104或本文中所描述之基於雷達之應用程式之任一者)執行且可包含各種操作或判定,諸如參考圖3至圖6所描述者。
在2108,基於反射之分析,提供雷達資料,諸如上文所描述之雷達資料。雷達資料可由各種實體之任一者提供,諸如雷達系統104或本文中所描述之基於雷達之應用程式之任一者。在一些實施方案中,雷達系統可提供雷達資料且將雷達資料傳遞給其他實體(例如,參考圖1至圖20所描述之基於雷達之應用程式或其他模組之任一者)。方法2100之描述在圖22中繼續,如由圖21之方塊2108之後的字母「A」所指示,其對應於圖22之方塊2110之前的字母「A」。
在2110,判定電子器件相對於物件之一定向。該判定基於雷達資料且可由各種實體之任一者執行,諸如雷達系統104或本文中所描述之基於雷達之應用程式或其他模組之任一者。
在2112,回應於判定電子器件之定向,提供電子器件之一基於定向之功能。基於定向之功能可由各種實體之任一者提供,諸如雷達系統104、基於雷達之應用程式106或702之任一者、或本文中所描述之其他模組之任一者。
在2114,判定電子器件相對於物件之定向之一變化。該判定基於雷達資料且可由各種實體之任一者執行,諸如雷達系統104、基於雷達之應用程式106或702之任一者、或本文中所描述之其他模組之任一者。
在2116,回應於判定電子器件相對於物件之定向之變化,修改基於定向之功能。基於定向之功能之修改可由各種實體之任一者執行,諸如雷達系統104、基於雷達之應用程式106或702之任一者、或本文中所描述之其他模組之任一者。
如參考圖1所述,基於定向之功能之一項實例係一請勿打擾(DND)模式(例如,其中使提醒、通知或其他器件起始之通信無聲之一模式)。在此實例中,啟動DND模式之初始定向可為一橫向定向。應注意,橫向定向係參考使用者所在之位置而非電子器件之一先前位置。因此,使用者無須首先定向電子器件且接著將其置於橫向模式。代替地,使用者僅僅將電子器件旋轉至一橫向定向,且啟動DND模式。
在此實例中,電子器件相對於物件之定向之變化係電子器件之一旋轉。旋轉可在實質上平行於顯示器108之一觀看表面之一平面內(例如,一表面上之一平面旋轉)。再者,使用者無須拾取電子器件以便判定定向之變化。一旦判定電子器件之定向之變化已將電子器件置於相對於物件之另一定向(例如,一縱向定向),電子器件即可退出DND模式。一旦撤銷啟動DND模式,即可顯示任何無聲訊息或通知使得使用者可定址該等訊息或通知。
考量圖23至圖25中所繪示之下文額外實例,其等描述可實施方法2100之額外細節之電子器件102之實例性實施方案。在關於圖23至圖25所描述之實例中,在智慧手機102中實施所描述特徵及技術,但所描述特徵及技術可搭配各種電子器件之任一者一起使用(例如,如參考圖2所描述)。圖23描繪一實例性實施方案2300,其中智慧手機102之基於定向之功能係以一面向使用者之定向呈現內容(例如,經由顯示器108)。在此實例中,智慧手機102提供雷達場110 (例如,經由雷達系統104)。在一詳細視圖2300-1中,一使用者2302 (雷達場中之物件)以一縱向定向觀看智慧手機102上之內容。智慧手機102 (使用例如基於雷達之應用程式106)判定智慧手機102相對於使用者2302之定向,且以一面向使用者之定向在顯示器上呈現內容,如由一鬥士影像2304所展示。
在一詳細視圖2300-2中,使用者2302將智慧手機102之定向改變為相對於使用者2302之另一定向(例如,一橫向定向),如由一箭頭2306所展示。在此實例中,定向之變化係智慧手機102所在之一桌子上之一平面旋轉(例如,智慧手機相對於使用者之定向之變化係智慧手機在實質上平行於顯示器108之一觀看表面之一平面內之一旋轉)。智慧手機102 (使用例如基於雷達之應用程式106)接著可判定定向之變化已引起智慧手機102處於相對於使用者2302之另一定向且作為回應,在智慧手機處於另一定向時維持內容之面向使用者之定向。因此,即使智慧手機102已旋轉且使用者2302既未拾取器件亦未手動地改變定向,鬥士影像2304仍維持於詳細視圖2300-1之面向使用者之定向。
圖24描繪一實例性實施方案2400,其中智慧手機102之基於定向之功能係以面向查看顯示器之一使用者之一定向呈現內容(例如,經由顯示器108)。以此方式,使用者可將智慧手機傳遞給另一使用者,該另一使用者將自動地獲得一適當定向顯示。在此實例中,智慧手機102提供雷達場110 (例如,經由雷達系統104)。在此實例中,假定一使用者2402及另一使用者2404 (例如,雷達場中之物件包含一第一使用者及一第二使用者)以一橫向定向(例如,一面向使用者之定向)在智慧手機102上觀看內容。智慧手機102 (使用例如基於雷達之應用程式106)判定智慧手機102相對於使用者2402之定向,且以面向使用者之定向在顯示器上呈現內容,其中內容經定向朝向使用者2402 (圖24中未展示此視圖)。
繼續該實例,假定使用者2402決定讓另一使用者2404更仔細地查看內容且將智慧手機102朝向另一使用者2404移動,如由一箭頭2406所展示(例如,使用者2402藉由引起智慧手機102之一位移(此引起智慧手機102變得更遠離第一使用者且更接近第二使用者)來改變智慧手機102相對於使用者2402之定向)。智慧手機102 (使用例如基於雷達之應用程式106)接著可判定定向之變化已引起智慧手機102處於相對於使用者2402之另一定向且作為回應,以面向另一使用者2404之一定向在顯示器上呈現內容2408。因此,即使智慧手機102尚未旋轉且使用者2402既未拾取器件亦未手動地改變定向,內容仍自動地定向以面向另一使用者2404。
圖25描繪一實例性實施方案2500,其中基於雷達之應用程式106或另一實體可使用一注意提示來判定用於在智慧手機102之一顯示器(例如,顯示器108)上呈現內容之一內容顯示模式。基於雷達之應用程式106使用注意提示來判定智慧手機102相對於使用者112之定向,且亦使用注意提示之一變化來判定智慧手機102相對於使用者112之定向之一變化。以此方式,可使用注意提示來判定使用者112是否正關注智慧手機102。
注意提示係可使用如參考圖1所描述之雷達資料偵測之使用者112之一身體姿勢或位置,諸如前傾或後傾、或左轉或右轉。例如,可使用雷達資料以藉由判定以下各者來判定注意提示:使用者112之一軀幹或頭部相對於實質上平行於智慧手機102之一觀看表面(例如,一顯示器之觀看表面)之一平面(諸如智慧手機102所擱置之一桌子)之一角度(例如,注意提示係使用者112是否傾向智慧手機102),或使用者112之軀幹或頭部之一角位置(例如,注意提示係使用者112是否避開智慧手機102),或在智慧手機102之一臨限距離內存在使用者112。
在實例性實施方案2500中,智慧手機102之基於定向之功能係以基於注意提示之一內容顯示模式(例如,一第一內容顯示模式)在顯示器上呈現內容。內容顯示模式可為智慧手機102在顯示或以其他方式呈現內容時可使用之各種模式之任一者,諸如一媒體暫停模式或一媒體播放模式、一鎖定螢幕模式、一睡眠或喚醒模式、一全螢幕或幻燈片模式,或包含一特定螢幕亮度位準或音量位準。
在一詳細視圖2500-1中,假定使用者112在閱讀一書籍時透過智慧手機102聽音樂。此實例中之第一內容顯示模式係一調暗亮度位準,如由智慧手機102之顯示器上之一陰影區域2502所展示。此實例中之注意提示係使用者112之頭部之一角位置,由一陰影箭頭2504所展示,其指示使用者112正在看書而非螢幕。以此方式,智慧手機102可藉由在使用者112看向別處時基於注意提示自動地調暗顯示器來節省電池電量,但繼續播放音樂。
在另一詳細視圖2500-2中繼續該實例,使用者112繼續聽音樂,但已轉向智慧手機102,如由一彎曲箭頭2506所展示。使用者112頭部之轉動指示使用者112正在查看智慧手機102而非書籍,如由另一陰影箭頭2508所展示。使用者112的頭部之轉動係注意提示之變化。回應於判定注意提示之變化,智慧手機102 (經由基於雷達之應用程式106或另一實體)可以另一內容顯示模式呈現內容(例如,修改智慧手機102之基於定向之功能以依一第二內容顯示模式呈現內容)。在實例2500中,第二內容顯示模式在顯示器上呈現一使用者介面,由一音樂圖示2510所展示。使用者112可與使用者介面互動(例如,經由觸碰、語音或3D手勢輸入)以控制用來播放音樂之音樂播放器。
如上述,在一些實施方案(包含上文所描述之實例之實施方案)中,智慧手機102可使用基於雷達之應用程式106或另一實體判定若旋轉(例如,智慧手機102或使用者112的軀幹或頭部之旋轉)超過一臨限值,則旋轉有效地引起基於定向之功能之一修改。臨限值可為任何適當旋轉,諸如25度、45度、90度或180度。類似地,若位移引起智慧手機102變得遠離第一使用者至少一臨限距離,則位移可有效地引起基於定向之功能之修改。臨限距離可為任何適當距離,諸如6英寸、12英寸或18英寸。此外,若角度(例如,使用者112前傾或後傾之角度)超過一臨限角度,則該角度可有效地引起基於定向之功能之修改。臨限值角度可為任何適當角度,諸如15度、25度、35度或45度。臨限值旋轉、距離或角度可為預定義的、使用者可選擇的或經由一機器學習模組判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式106。
另外,若維持變化達至少一臨限時間,則位置、角度、旋轉及其他定向變化可有效地引起基於定向之功能之一修改。臨限時間可為任何適當時間(例如,0.5秒、1.5秒或2.5秒),且可為預定義的、使用者可選擇的或經由一機器學習模組判定,該機器學習模組包含或相關聯於雷達系統104或基於雷達之應用程式106。
應注意,用於促進使用者存在及定向之覺察之一基於智慧手機之雷達系統之此等技術可比可提供類似功能之其他技術更安全。一使用者之位置、定向或3D手勢(尤其使用者定義手勢、微手勢及基於姿勢或位置之手勢)通常不會由一未經授權之人獲得(例如,不同於一密碼),但即使使用者之一雷達影像包含使用者之面部,其不會如同一照片或視訊般在視覺上識別使用者。即便如此,進一步根據上文描述,可向使用者提供控制件,從而允許使用者選擇本文件中所描述之系統、程式、模組或特徵之任一者是否及何時可實現使用者資訊(例如,關於一使用者之社交網路、社交行為或活動、職業、一使用者之偏好或一使用者之當前位置之資訊)之收集,及使用者是否自一伺服器發送內容或通信。另外,特定資料可在儲存或使用之前以一或多種方式處理,使得移除個人可識別資訊。例如,可處理一使用者之身份使得不可判定使用者之個人可識別資訊,或可在獲得位置資訊(例如,一城市、郵遞區號或州級)之情況下概括一使用者之地理位置,使得無法判定一使用者之一特定位置。因此,使用者可控制所收集的關於使用者之資訊,如何使用該資訊,及提供給使用者之資訊或所提供之關於使用者之資訊。實例 運算系統
圖26繪示一實例性運算系統2600之各種組件,其可經實施為如參考先圖1至圖25所描述之任何類型之客戶端、伺服器及/或電子器件,或其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。
運算系統2600包含通信器件2602,通信器件2602啟用器件資料2604之有線及/或無線通信(例如,雷達資料、3D手勢資料、鑑認資料、參考資料、經接收之資料、正接收之資料、針對廣播排程之資料、資料之資料封包)。器件資料2604或其他器件內容可包含器件之組態設定、儲存於器件上之媒體內容及/或與器件之一使用者相關聯之資訊(例如,一雷達場內之一人之一位置、定向、存在或身份)。儲存於運算系統2600上之媒體內容可包含任何類型之雷達、生物識別、音訊、視訊及/或影像資料。運算系統2600包含一或多個資料輸入2606,可經由資料輸入2606接收任何類型之資料、媒體內容及/或輸入,諸如人類話語、與一雷達場之互動、觸控輸入、使用者可選擇輸入(顯式或隱式)、訊息、音樂、電視媒體內容、錄製視訊內容,及自任何內容及/或資料源接收之任何其他類型之音訊、視訊及/或影像資料。資料輸入2606可包含例如基於雷達之應用程式106及702、定向模組114、3D手勢模組116或存在模組708。
運算系統2600亦包含通信介面2608,通信介面2608可經實施為一串列及/或並列介面、一無線介面、任何類型之網路介面、一數據機之任何一或多者,且經實施為任何其他類型之通信介面。通信介面2608提供運算系統2600與一通信網路之間的一連接及/或通信鏈路,其他電子、運算及通信器件藉由該通信網路與運算系統2600進行資料通信。
運算系統2600包含一或多個處理器2610 (例如,微處理器、控制器或其他控制器之任一者),處理器2610可處理各種電腦可執行指令以控制運算系統2600之操作且啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術或其中可實施用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。替代地或另外,運算系統2600可用結合處理及控制電路(通常由2612識別)實施之硬體、韌體或固定邏輯電路之任一者或組合來實施。儘管未展示,然運算系統2600可包含耦合器件內之各種組件之一系統匯流排或資料傳送系統。一系統匯流排可包含不同匯流排結構之任一者或組合,諸如一記憶體匯流排或記憶體控制器、一周邊匯流排、一通用串列匯流排、及/或利用各種匯流排架構之任一者之一處理器或本端匯流排。
運算系統2600亦包含啟用持久及/或非暫時性資料儲存(即,與僅信號傳輸相比)之電腦可讀媒體2614,諸如一或多個記憶體器件,其等之實例包含隨機存取記憶體(RAM)、非揮發性記憶體(例如,一唯讀記憶體(ROM)、快閃記憶體、EPROM、EEPROM等之任何一或多者)及一磁碟儲存器件。一磁碟儲存器件可經實施為任何類型之磁性或光學儲存器件,諸如一硬碟機、一可記錄及/或可重寫光碟(CD)、任何類型之數位多功能光碟(DVD)及類似者。運算系統2600亦可包含一大容量儲存媒體器件(儲存媒體) 2616。
電腦可讀媒體2614提供用以儲存器件資料2604之資料儲存機構,以及各種器件應用程式2618及與運算系統2600之操作態樣相關之任何其他類型之資訊及/或資料。例如,一作業系統2620可作為一電腦應用程式與電腦可讀媒體2614一起維持且在處理器2610上執行。器件應用2618可包含一器件管理器,諸如任何形式之控制應用程式、軟體應用程式、信號處理及控制模組、一原生於特定器件之程式碼、一抽像模組、一手勢辨識模組及其他模組。器件應用程式2618亦可包含系統組件、引擎或管理器以實施用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統,諸如雷達系統104、基於雷達之應用程式106、基於雷達之應用程式702、定向模組114、3D手勢模組116或存在模組708。運算系統2600亦可包含或可存取一或多個機器學習模組或系統。結論
儘管已用特定於特徵及/或方法之語言描述啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術及裝置之實施方案,但應理解,隨附發明申請專利範圍之標的物不必限於所描述之特定特徵或方法。實情係,特定特徵及方法作為啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之實例性實施方案而揭示。
100‧‧‧環境 100-1‧‧‧詳細視圖 100-2‧‧‧詳細視圖 102‧‧‧智慧手機 102-1‧‧‧行動手機 102-2‧‧‧平板電腦 102-3‧‧‧膝上型電腦 102-4‧‧‧桌上型電腦 102-5‧‧‧運算手錶 102-6‧‧‧運算眼鏡 102-7‧‧‧遊戲系統 102-8‧‧‧家庭自動化及控制系統 102-9‧‧‧車輛 104‧‧‧雷達系統 106‧‧‧基於雷達之應用程式 108‧‧‧顯示器 110‧‧‧雷達場 112‧‧‧物件/人/使用者 114‧‧‧定向模組 116‧‧‧三維(3D)手勢模組 118‧‧‧箭頭 200‧‧‧實施方案 202‧‧‧電腦處理器 204‧‧‧電腦可讀媒體 206‧‧‧網路介面 300‧‧‧實施方案 302‧‧‧通信介面 304‧‧‧天線陣列 306‧‧‧收發器 308‧‧‧處理器 310‧‧‧系統媒體 314‧‧‧衰減緩解器 316‧‧‧數位波束成形器 318‧‧‧角度估計器 320‧‧‧功率管理器 400‧‧‧配置 402‧‧‧接收天線元件 404-1‧‧‧矩形配置 404-2‧‧‧三角形配置 404-3‧‧‧L形配置 406‧‧‧寬傳輸波束 408‧‧‧窄接收波束 500‧‧‧實施方案 502‧‧‧衰減器 504‧‧‧反射部分 506‧‧‧雷達信號 508‧‧‧頻率子頻譜 510‧‧‧轉向角 512‧‧‧距離 514‧‧‧厚度 600‧‧‧方案 602‧‧‧原始資料 604‧‧‧頻率子頻譜 606‧‧‧快速傅立葉變換(FFT) 608‧‧‧預處理資料 610‧‧‧都卜勒濾波程序 612‧‧‧距離-都卜勒資料 614‧‧‧波束成形資料 616‧‧‧單視波束成形器 618‧‧‧多視干涉儀 620‧‧‧多視波束成形器 622‧‧‧相位中心 624-1‧‧‧方向角 624-2‧‧‧方向角 626‧‧‧振幅曲線圖 628-1‧‧‧第一振幅回應 628-2‧‧‧第二振幅回應 630-1‧‧‧第一角位置 630-2‧‧‧第二角位置 632‧‧‧神經網路 634‧‧‧廻旋神經網路(CNN) 636‧‧‧長短期記憶體(LSTM)網路 638‧‧‧角概率資料 640‧‧‧追蹤器模組 642‧‧‧角位置資料 644‧‧‧量化器模組 646‧‧‧經量化之角位置資料 700‧‧‧環境 700-1‧‧‧詳細視圖 700-2‧‧‧詳細視圖 702‧‧‧基於雷達之應用程式 704‧‧‧物件/人/使用者 706‧‧‧察覺距離 708‧‧‧存在模組 710‧‧‧箭頭 712‧‧‧文字氣泡 800‧‧‧實例 800-1‧‧‧詳細視圖 800-2‧‧‧詳細視圖 802‧‧‧使用者 804‧‧‧電鈴圖示 806‧‧‧使用者 808‧‧‧電鈴圖示 900‧‧‧實例 900-1‧‧‧詳細視圖 900-2‧‧‧詳細視圖 900-3‧‧‧詳細視圖 902‧‧‧使用者 904‧‧‧電鈴圖示 906‧‧‧可掃視顯示資訊 908‧‧‧視覺資訊 1000‧‧‧實例 1000-1‧‧‧詳細視圖 1000-2‧‧‧詳細視圖 1000-3‧‧‧詳細視圖 1002‧‧‧使用者 1004‧‧‧聯繫人清單 1006‧‧‧選項 1008‧‧‧使用者 1100‧‧‧實例 1100-1‧‧‧詳細視圖 1100-2‧‧‧詳細視圖 1100-3‧‧‧詳細視圖 1102‧‧‧使用者 1104‧‧‧文字氣泡 1106‧‧‧文字氣泡 1200‧‧‧實例 1200-1‧‧‧詳細視圖 1200-2‧‧‧詳細視圖 1202‧‧‧使用者 1204‧‧‧壁紙動畫 1206‧‧‧使用者 1208‧‧‧最愛影像 1300‧‧‧實例 1300-1‧‧‧詳細視圖 1300-2‧‧‧詳細視圖 1302‧‧‧使用者 1304‧‧‧使用者 1306‧‧‧通知指示符 1308‧‧‧箭頭 1310‧‧‧內容 1400‧‧‧實例 1400-1‧‧‧詳細視圖 1400-2‧‧‧詳細視圖 1402‧‧‧使用者 1404‧‧‧文字氣泡 1406‧‧‧使用者 1408‧‧‧靜音圖示 1500‧‧‧實例 1500-1‧‧‧詳細視圖 1500-2‧‧‧詳細視圖 1502‧‧‧使用者 1504‧‧‧使用者 1506‧‧‧箭頭 1600‧‧‧實例 1600-1‧‧‧詳細視圖 1600-2‧‧‧詳細視圖 1602‧‧‧使用者 1604‧‧‧鈴聲音量圖示 1606‧‧‧箭頭 1608‧‧‧靜音圖示 1700‧‧‧實例 1700-1‧‧‧詳細視圖 1700-2‧‧‧詳細視圖 1702‧‧‧使用者 1704‧‧‧箭頭 1706‧‧‧暫停圖示 1800‧‧‧實例 1800-1‧‧‧詳細視圖 1800-2‧‧‧詳細視圖 1802‧‧‧使用者 1804‧‧‧快門按鈕 1806‧‧‧箭頭 1808‧‧‧裁剪視窗 1900‧‧‧實例 1900-1‧‧‧詳細視圖 1900-2‧‧‧詳細視圖 1900-3‧‧‧詳細視圖 1902‧‧‧使用者 1904‧‧‧箭頭 1906‧‧‧陰影區域 1908‧‧‧箭頭 1910‧‧‧陰影區域 1912‧‧‧箭頭 1914‧‧‧陰影區域 2000‧‧‧實例 2000-1‧‧‧詳細視圖 2000-2‧‧‧詳細視圖 2002‧‧‧使用者 2004‧‧‧使用者 2006‧‧‧左至右箭頭 2008‧‧‧使用者 2010‧‧‧右至左箭頭 2100‧‧‧方法 2102‧‧‧方塊 2104‧‧‧方塊 2106‧‧‧方塊 2108‧‧‧方塊 2110‧‧‧方塊 2112‧‧‧方塊 2114‧‧‧方塊 2116‧‧‧方塊 2300‧‧‧實施方案 2300-1‧‧‧詳細視圖 2300-2‧‧‧詳細視圖 2302‧‧‧使用者 2304‧‧‧鬥士影像 2306‧‧‧箭頭 2400‧‧‧實施方案 2402‧‧‧使用者 2404‧‧‧使用者 2406‧‧‧箭頭 2408‧‧‧內容 2500‧‧‧實施方案 2500-1‧‧‧詳細視圖 2502‧‧‧陰影區域 2504‧‧‧陰影箭頭 2500-2‧‧‧詳細視圖 2506‧‧‧彎曲箭頭 2508‧‧‧陰影箭頭 2510‧‧‧音樂圖示 2600‧‧‧運算系統 2602‧‧‧通信器件 2604‧‧‧器件資料 2606‧‧‧資料輸入 2608‧‧‧通信介面 2610‧‧‧處理器 2612‧‧‧處理及控制電路 2614‧‧‧電腦可讀媒體 2616‧‧‧大容量儲存媒體器件 2618‧‧‧器件應用程式 2620‧‧‧作業系統
在本文件中參考下文圖式描述用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之一或多個態樣之細節。貫穿圖式,使用相同數字來參考類似特徵及組件: 圖1繪示一實例性環境,其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。 圖2繪示圖1之智慧手機之一實例性實施方案,其包含一雷達系統且可實施用於促進使用者存在及定向之察覺之基於智慧手機之雷達系統。 圖3繪示圖1及圖2之雷達系統之一實例性實施方案。 圖4繪示圖3之雷達系統之接收天線元件之實例性配置。 圖5繪示圖1及圖2之雷達系統之一實例性實施方案之額外細節。。 圖6繪示可由圖1及圖2之雷達系統實施之一實例性方案。 圖7繪示另一實例性環境,其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。 圖8至圖12繪示可搭配用於促進使用者存在及定向技術之察覺之基於智慧手機之雷達系統(如圖7中所描述)使用之基於存在之功能之實例。 圖13及圖14繪示對如圖7至圖12中所描述之基於存在之功能之修改之實例。 圖15至圖20繪示可搭配用於促進使用者存在及定向技術之察覺之基於智慧手機之雷達系統(如圖7至圖14中所描述)使用之3D手勢之實例。 圖21及圖22描繪啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之一實例性方法。 圖23至圖25繪示可實施圖21及圖22之方法之額外細節之一電子器件之實例性實施方案。 圖26繪示一實例性運算系統之各種組件,該實例性運算系統可經實施為如參考圖1至圖25所描述之待實施之任何類型之客戶端、伺服器及/或電子器件或其中可實施啟用用於促進使用者存在及定向之察覺之一基於智慧手機之雷達系統之技術。
100‧‧‧環境
100-1‧‧‧詳細視圖
100-2‧‧‧詳細視圖
102‧‧‧智慧手機
104‧‧‧雷達系統
106‧‧‧基於雷達之應用程式
108‧‧‧顯示器
110‧‧‧雷達場
112‧‧‧物件/人/使用者
114‧‧‧定向模組
116‧‧‧三維(3D)手勢模組
118‧‧‧箭頭

Claims (20)

  1. 一種智慧手機,其包括:一顯示器;一雷達系統,其至少部分地實施於硬體中,該雷達系統經組態以:提供一雷達場;感測來自該雷達場中之一物件(object)之反射;分析來自該雷達場中之該物件之該等反射;及基於該等反射之該分析,提供雷達資料;一或多個電腦處理器;及一或多個其上儲存有指令之電腦可讀媒體,回應於由該一或多個電腦處理器執行,該等指令執行包括以下各者之操作:基於該雷達資料之一第一子集,判定該智慧手機相對於(with reference to)該物件之一定向;回應於判定該智慧手機之該定向,當該智慧手機經判定處於相對於該物件之一第一定向時,進入一請勿打擾(do-not-disturb;DND)模式;基於該雷達資料之一第二子集,判定該智慧手機相對於該物件之該定向之一變化,該定向之該變化包括該智慧手機在實質上平行於該顯示器之一觀看表面之一平面內之一旋轉,該旋轉有效地引起該智慧手機處於相對於該物件之一第二定向;且回應於該定向之該變化,退出該DND模式。
  2. 如請求項1之智慧手機,其中:該物件係一使用者;相對於該使用者之該第一定向係一橫向定向(landscape orientation);且相對於該使用者之該第二定向係一縱向定向(portrait orientation)。
  3. 如請求項1之智慧手機,其中該智慧手機在實質上平行於該顯示器之該觀看表面之該平面內之該旋轉未包含舉起(lifting)或傾斜(tilting)該智慧手機。
  4. 如請求項1之智慧手機,其中該請勿打擾(DND)模式係提醒、通知或其他器件起始(device-initiated)之通信之至少一者無聲之一模式,且至少一使用者介面元件(user interface element)可見於(visible)該顯示器上。
  5. 如請求項4之智慧手機,其中該等操作進一步包括:回應於退出該DND模式,當該智慧手機處於該DND模式時,提供無聲的提醒、通知或其他器件起始之通信。
  6. 如請求項1之智慧手機,其中,當該智慧手機在實質上平行於該顯示器之該觀看表面之該平面內之該旋轉超過一臨限旋轉距離(threshold rotational distance)時,該旋轉有效地引起該智慧手機處於相對於該物件之該第二定向。
  7. 如請求項6之智慧手機,其中該臨限旋轉距離為大約25度、大約45度、大約90度或大約180度之一者。
  8. 如請求項6之智慧手機,其中該臨限旋轉距離為預定義的、使用者可選擇的或經由一機器學習模組判定的,該機器學習模組包含或相關聯於該雷達系統。
  9. 如請求項1之智慧手機,其中該雷達系統進一步包括一數位波束成形器(beamformer)及一角度估計器(angle estimator),且該雷達系統經組態以監測一視場中介於大約-90度與大約90度之間的角度。
  10. 一種智慧手機,其包括:一顯示器;一雷達系統,其至少部分地實施於硬體中,該雷達系統經組態以:提供一雷達場;感測來自該雷達場中之至少一第一使用者及一第二使用者之反射;分析來自該雷達場中之至少該第一使用者及該第二使用者之該等反射;及基於該等反射之該分析,提供雷達資料;一或多個電腦處理器;及一或多個其上儲存有指令之電腦可讀媒體,回應於由該一或多個電腦處理器執行,該等指令執行包括以下各者之操作: 基於該雷達資料之一第一子集,判定該智慧手機相對於該第一使用者之一定向;回應於判定該智慧手機之該定向,以一面向第一使用者(first-user-facing)之定向在該顯示器上呈現內容;基於該雷達資料之一第二子集,判定該智慧手機相對於該第一使用者之該定向之一變化,該智慧手機相對於該第一使用者之該定向之該變化包括該智慧手機之一位移(displacement),該位移有效地引起該智慧手機變得更遠離該第一使用者且更接近該第二使用者;且回應於該定向之該變化,以一面向第二使用者(second-user-facing)之定向在該顯示器上呈現內容。
  11. 如請求項10之智慧手機,其中該智慧手機有效地引起該智慧手機變得更遠離該第一使用者且更接近該第二使用者之該位移未包含舉起或旋轉該智慧手機。
  12. 如請求項10之智慧手機,其中該等操作進一步包括:在該位移超過一臨限距離時,以該面向第二使用者之定向在該顯示器上呈現內容。
  13. 如請求項12之智慧手機,其中該臨限距離係大約6英寸(inch)、大約12英寸或大約18英寸之一者。
  14. 如請求項12之智慧手機,其中該臨限距離為預定義的、使用者可選擇的或經由一機器學習模組判定的,該機器學習模組包含或相關聯於該雷達系統。
  15. 如請求項12之智慧手機,其中該雷達系統進一步包括一數位波束成形器及一角度估計器,且該雷達系統經組態以監測一視場中介於大約-90度與大約90度之間的角度。
  16. 一種在包含一雷達系統及一基於雷達之應用程式之一智慧手機中實施之方法,該方法包括:由該雷達系統提供一雷達場;由該雷達系統感測來自該雷達場中之一物件之反射;分析來自該雷達場中之該物件之該等反射;基於該等反射之該分析,提供雷達資料;基於該雷達資料之一第一子集,判定該智慧手機相對於該物件之一定向;回應於判定該智慧手機之該定向,當該智慧手機經判定處於相對於該物件之一第一定向時,進入一請勿打擾(DND)模式;基於該雷達資料之一第二子集,判定該智慧手機相對於該物件之該定向之一變化,該定向之該變化包括該智慧手機在實質上平行於該顯示器之一觀看表面之一平面內之一旋轉,該旋轉有效地引起該智慧手機處於相對於該物件之一第二定向;且回應於該定向之該變化,退出該DND模式。
  17. 如請求項16之方法,其中:該物件係一使用者; 相對於該使用者之該第一定向係一橫向定向;且相對於該使用者之該第二定向係一縱向定向。
  18. 如請求項16之方法,其中該智慧手機在實質上平行於該顯示器之該觀看表面之該平面內之該旋轉未包含舉起或傾斜該智慧手機。
  19. 如請求項16之方法,其中該請勿打擾(DND)模式係提醒、通知或其他器件起始之通信之至少一者無聲之一模式,且至少一使用者介面元件可見於該顯示器上。
  20. 如請求項19之方法,其中該等操作進一步包括:當該智慧手機處於該DND模式時,回應於退出該DND模式,提供無聲的提醒、通知或其他器件起始之通信。
TW108123887A 2018-08-22 2019-07-08 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統 TWI726349B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/109,534 US10770035B2 (en) 2018-08-22 2018-08-22 Smartphone-based radar system for facilitating awareness of user presence and orientation
US16/109,534 2018-08-22

Publications (2)

Publication Number Publication Date
TW202009654A TW202009654A (zh) 2020-03-01
TWI726349B true TWI726349B (zh) 2021-05-01

Family

ID=67770566

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109141179A TWI781479B (zh) 2018-08-22 2019-07-08 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
TW108123887A TWI726349B (zh) 2018-08-22 2019-07-08 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW109141179A TWI781479B (zh) 2018-08-22 2019-07-08 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統

Country Status (5)

Country Link
US (4) US10770035B2 (zh)
EP (1) EP3743792A1 (zh)
CN (1) CN111819523B (zh)
TW (2) TWI781479B (zh)
WO (1) WO2020040970A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11231975B2 (en) 2018-09-29 2022-01-25 Apple Inc. Devices, methods, and user interfaces for providing audio notifications
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111314597B (zh) * 2018-12-11 2021-07-23 北京小米移动软件有限公司 终端、对焦方法及装置
DE102019102943A1 (de) * 2019-02-06 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit verstellbarem Bildschirm
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
US11810587B2 (en) 2019-07-26 2023-11-07 Hewlett-Packard Development Company, L.P. Noise filtrations based on radar
US10955933B2 (en) * 2019-07-29 2021-03-23 Cirque Corporation Hybrid circuit for a touch pad keyboard
EP4010894A1 (en) 2019-12-11 2022-06-15 Google LLC Color calibration of display modules using a reduced number of display characteristic measurements
CN111399642B (zh) * 2020-03-09 2023-09-29 深圳大学 手势的识别方法、装置、移动终端和存储介质
EP4168819A1 (en) 2020-06-17 2023-04-26 Google LLC Multi-radar system
US11747441B2 (en) * 2020-07-29 2023-09-05 Apple Inc. Indoor/outdoor detection using wireless signals
TWI786493B (zh) * 2020-12-18 2022-12-11 開酷科技股份有限公司 具有機器學習加速器的手勢收集以及辨識系統
CN114647302A (zh) * 2020-12-18 2022-06-21 开酷科技股份有限公司 具有机器学习加速器的手势收集以及识别系统
US11809641B2 (en) 2021-02-05 2023-11-07 Nokia Technologies Oy Orientation of visual content rendered on a display of a mobile device
CN112817552A (zh) * 2021-02-26 2021-05-18 北京小米移动软件有限公司 屏幕控制方法、装置、设备及存储介质
US11543890B2 (en) 2021-03-22 2023-01-03 KaiKuTek Inc. Custom gesture collection and recognition system having machine learning accelerator
CN113407028B (zh) * 2021-06-24 2023-07-18 上海科技大学 多用户运动手势控制方法、装置、智能音箱和介质
US11442608B1 (en) 2021-08-06 2022-09-13 Google Llc Preserving engagement state based on contextual signals
US11734462B2 (en) 2021-08-17 2023-08-22 Optum, Inc. Preventing sensitive information from being screen shared with untrusted users
US11842678B2 (en) 2021-10-12 2023-12-12 Google Llc High-brightness mode on an OLED display
US20230306968A1 (en) * 2022-02-04 2023-09-28 Apple Inc. Digital assistant for providing real-time social intelligence
US11775057B1 (en) * 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
EP4336310A1 (en) * 2022-09-06 2024-03-13 Nokia Technologies Oy Device orientation detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130120458A1 (en) * 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
EP2637079A1 (en) * 2012-03-08 2013-09-11 Samsung Electronics Co., Ltd Electronic device for measuring angle of face and rotating screen content thereof and method thereof
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法
TWI610084B (zh) * 2014-07-03 2018-01-01 高通公司 用於判定基於來自複數個與人共定位之行動裝置之感測器量測之移動之技術
GB2554957A (en) * 2016-05-16 2018-04-18 Google Llc Gesture-based control of a user interface

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JPH11338120A (ja) 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US7511630B2 (en) * 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) * 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) * 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) * 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US7199749B2 (en) * 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) * 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
EP2293172A3 (en) 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing and computer program
TW200731743A (en) * 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8723811B2 (en) 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
US20090322690A1 (en) * 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) * 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
WO2010096546A1 (en) 2009-02-18 2010-08-26 MBTE Holdings Sweden AB Telephone call scheduling and initiation system
US7924212B2 (en) * 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
KR20110101585A (ko) * 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) * 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) * 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) * 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
JP2014534405A (ja) * 2011-10-21 2014-12-18 ネスト・ラブズ・インコーポレイテッド ユーザフレンドリーな、ネットワーク接続された学習サーモスタットならびに関連するシステムおよび方法
JP2013125328A (ja) 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
US9494973B2 (en) * 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) * 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US9632584B2 (en) 2013-01-08 2017-04-25 2236008 Ontario Inc. On-demand user control
US20150370443A1 (en) 2013-02-12 2015-12-24 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2014181326A1 (en) 2013-05-08 2014-11-13 Geva Ran Motion-based message display
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) * 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
US20150187137A1 (en) 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
JP5899251B2 (ja) 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) * 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
DE202015005999U1 (de) * 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) * 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
TWI514193B (zh) * 2014-12-25 2015-12-21 Univ Nat Sun Yat Sen 動作感測裝置
CN104793731A (zh) 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) * 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ihiエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
WO2016176574A1 (en) * 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
US9691361B2 (en) * 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
JP6515028B2 (ja) 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10613213B2 (en) 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10353478B2 (en) 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180018965A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
KR101847295B1 (ko) 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US10719870B2 (en) 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
WO2019056393A1 (zh) 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130120458A1 (en) * 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
EP2637079A1 (en) * 2012-03-08 2013-09-11 Samsung Electronics Co., Ltd Electronic device for measuring angle of face and rotating screen content thereof and method thereof
TWI610084B (zh) * 2014-07-03 2018-01-01 高通公司 用於判定基於來自複數個與人共定位之行動裝置之感測器量測之移動之技術
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法
GB2554957A (en) * 2016-05-16 2018-04-18 Google Llc Gesture-based control of a user interface

Also Published As

Publication number Publication date
EP3743792A1 (en) 2020-12-02
TWI781479B (zh) 2022-10-21
CN111819523B (zh) 2024-09-10
US20200193942A1 (en) 2020-06-18
US10930251B2 (en) 2021-02-23
US20200066236A1 (en) 2020-02-27
US11176910B2 (en) 2021-11-16
US10770035B2 (en) 2020-09-08
TW202121130A (zh) 2021-06-01
US20220036863A1 (en) 2022-02-03
CN111819523A (zh) 2020-10-23
TW202009654A (zh) 2020-03-01
US20200372879A1 (en) 2020-11-26
WO2020040970A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
TWI726349B (zh) 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
CN111868664B (zh) 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
JP7270070B2 (ja) モバイルデバイスのための入力方法
CN113874812B (zh) 用于多输入模式的输入模式通知
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device