TWI738022B - 智慧型手機、電子系統及實施於電子裝置中之方法 - Google Patents

智慧型手機、電子系統及實施於電子裝置中之方法 Download PDF

Info

Publication number
TWI738022B
TWI738022B TW108123712A TW108123712A TWI738022B TW I738022 B TWI738022 B TW I738022B TW 108123712 A TW108123712 A TW 108123712A TW 108123712 A TW108123712 A TW 108123712A TW I738022 B TWI738022 B TW I738022B
Authority
TW
Taiwan
Prior art keywords
radar
display
user
touch input
view
Prior art date
Application number
TW108123712A
Other languages
English (en)
Other versions
TW202009650A (zh
Inventor
李奧納多 吉奧思帝
艾文 波匹雷夫
派翠克 M 艾米胡德
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202009650A publication Critical patent/TW202009650A/zh
Application granted granted Critical
Publication of TWI738022B publication Critical patent/TWI738022B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/424—Stacked beam radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文件描述實現促進使用者與一擴增實境介面中之顯示物件互動之簡易性及準確性的一基於智慧型手機之雷達系統的技術及系統。該等技術及系統使用一雷達視野準確地判定可用以與呈現於諸如一智慧型手機之一電子裝置的一顯示器上的擴增實境(AR)物件互動的三維(3D)手勢。此等技術允許該使用者隔一段距離做出3D手勢--該使用者無需在觸摸螢幕的同時保持該電子裝置穩定，且該等手勢並不阻擋該使用者觀看呈現於該顯示器上的該等AR物件。

Description

智慧型手機、電子系統及實施於電子裝置中之方法
諸如智慧型手機之電子裝置用於通信、導航、購物、玩遊戲、擴增實境(AR)互動及許多其他功能。使用者通常在其電子裝置上運用觸摸輸入與應用程式互動。由於此等應用程式可提供的廣泛範圍之功能，因此對使用者提供多階段或另外複雜輸入之需求已變得愈加常見。手勢辨識技術已成功地實現在經由裝置表面(諸如觸控式螢幕及觸控板)做出手勢時與電子裝置進行不太複雜的手勢互動。然而，運用觸摸輸入介面與電子裝置互動以提供更複雜輸入可能不方便、低效且不舒適。
詳言之，AR環境可使得使用者面臨挑戰。使用二維(2D)觸控式螢幕可難以操控三維(3D)物件。舉例而言，為操控與特定真實物件相關之3D AR物件，使用者必須使用一隻手保持電子裝置穩定(因而AR物件保留在顯示器框內)，同時使用另一隻手經由2D觸控式螢幕與AR物件互動。此會導致沮喪、不適及不準確或不完整的輸入。因此，使用者可能由於觸摸輸入方法之侷限性而無法實現其電子裝置之完整潛能。
本文件描述實現促進使用者與一擴增實境介面中之顯示物件互動之簡易性及準確性的一基於智慧型手機之雷達系統的技術及系統。該等技術及系統使用一雷達視野準確地判定可用以與呈現於諸如一智慧型手機之一電子裝置的一顯示器上的擴增實境(AR)物件互動的三維(3D)手勢。此等技術允許該使用者隔一段距離做出3D手勢--該使用者無需在觸摸該螢幕的同時保持該電子裝置穩定，且該等手勢並不阻擋該使用者觀看呈現於該顯示器上的該等AR物件。
下文描述之態樣包括一種智慧型手機，其包含一顯示器、一雷達系統、一或多個電腦處理器及一或多個電腦可讀媒體。該雷達系統至少部分實施於硬體中，且提供一雷達視野。該雷達系統亦感測來自該雷達視野中之一物件的反射，且分析來自該雷達視野中之該物件的該等反射。該雷達系統進一步基於該等反射之該分析提供雷達資料。該一或多個電腦可讀媒體包括所儲存之指令，該等指令可藉由該一或多個電腦處理器執行以實施一基於雷達之應用程式。該基於雷達之應用程式經由該智慧型手機之該顯示器呈現一擴增實境(AR)元件。該AR元件包括一觸摸輸入控制且涉及一真實物件。該真實物件之一影像呈現於該智慧型手機之該顯示器上。回應於基於該雷達資料進行的該雷達視野中之該物件正向著該顯示器移動的一判定，該基於雷達之應用程式將該觸摸輸入控制維持在該顯示器上的一固定位置處。
下文所描述之態樣亦包括一種包含一電子裝置之系統，該電子裝置包括一顯示器、一雷達系統、一或多個電腦處理器及一或多個電腦可讀媒體。該雷達系統至少部分實施於硬體中，且提供一雷達視野。該 雷達系統在一第一時間感測來自該雷達視野中之一物件的反射。該雷達系統亦分析來自該雷達視野中之該物件的該等反射，且基於該等反射之該分析提供雷達資料。該一或多個電腦可讀媒體包括所儲存之指令，該等指令可藉由該一或多個電腦處理器執行以實施一基於雷達之應用程式。該基於雷達之應用程式經由該電子裝置之該顯示器呈現一擴增實境(AR)元件。該基於雷達之應用程式亦在晚於該第一時間之一第二時間接收選擇該AR元件之一輸入。此外，該基於雷達之應用程式基於該雷達資料判定藉由該雷達視野中之該物件的一手勢，且執行與該所選擇AR元件相關的一動作。該所執行之動作對應於該經判定手勢。
下文所描述之態樣亦包括一種實施於一電子裝置中的方法，該電子裝置包括一顯示器、一雷達系統及一基於雷達之應用程式。該方法包含藉由該雷達系統提供一雷達視野，且藉由該雷達系統感測來自該雷達視野中之一物件的反射。該方法亦包括分析來自該雷達視野中之該物件的該等反射，且基於該等反射之該分析且藉由該雷達系統提供雷達資料。該方法亦包括藉由該基於雷達之應用程式經由該電子裝置之該顯示器呈現一擴增實境(AR)元件。該AR元件包括一觸摸輸入控制，且涉及一真實物件，該真實物件之一影像呈現於該顯示器上。回應於基於該雷達資料判定該雷達視野中之該物件正向著該顯示器移動，該觸摸輸入控制被維持在該顯示器上的一固定位置處。
下文所描述之態樣亦包括一種包含一電子裝置及用於提供一雷達視野且判定該雷達視野中之一物件正向著該電子裝置移動的構件的系統。該系統經由該電子裝置之一顯示器呈現一擴增實境(AR)元件。該AR元件包括一觸摸輸入控制，且涉及一真實物件，該真實物件之一影像 呈現於該電子裝置之該顯示器上。該系統進一步包括用於回應於該雷達視野中之該物件正向著該顯示器移動的該判定而將該觸摸輸入控制維持在該電子裝置之該顯示器上的一固定位置處的構件。
此概述經提供以引入關於促進使用者與一擴增實境介面中之顯示物件互動之簡易性及準確性的一基於智慧型手機之雷達系統的簡化概念，其下文在實施方式及圖式中進一步描述。本概述並不意欲識別所主張標的物之基本特徵，亦不意欲用於確定所主張標的物之範疇。
100:實例環境
102:智慧型手機
102-1:行動電話
102-2:平板電腦
102-3:膝上型電腦
102-4:桌上型電腦
102-5:計算表
102-6:計算眼鏡
102-7:遊戲系統
102-8:微波
102-9:交通工具
104:雷達系統
106:基於雷達之應用程式
108:顯示器
110:雷達視野
112:物件
114:陰影箭頭
116:擴增實境(AR)元件
118:觸摸輸入控制
120-1:真實物件
120-2:影像
200:實例實施
202:電腦處理器
204:電腦可讀媒體
206:網路介面
300:實例實施
302:通信介面
304:天線陣列
306:收發器
308:處理器
310:系統媒體
314:衰減緩解器
316:數位波束成形器
318:角度估計器
320:電力管理器
400:實例配置
402:接收天線元件
404-1:矩形配置
404-2:三角形配置
404-3:L形配置
406:寬傳輸波束
408:窄接收波束
500:實例實施
502:衰減器
504:經反射部分
506:雷達信號
508:子頻譜
510:轉向角
512:距離
514:厚度
600:實例方案
602:原始資料
604:子頻譜
606:快速傅里葉變換
608:經預處理資料
610:都卜勒濾波過程
612:範圍都卜勒資料
614:波束成形資料
616:單觀點波束成形器
618:多觀點干涉儀
620:多觀點波束成形器
622:相位中心
626:振幅曲線
628-1:第一振幅回應
628-2:第二振幅回應
630-1:第一角度方位
630-2:第二角度方位
632:神經網路
634:卷積神經網路(CNN)
636:長短期記憶體模型(LSTM)網路
638:角度機率資料
640:追蹤器模組
642:角度方位資料
644:量化器模組
646:經量化角度方位資料
700:實例操作環境
702:基於雷達之應用程式
704:物件
706:擴增實境(AR)元件
708:三維(3D)手勢模組
800:實例環境
800-1:細節視圖
800-2:細節視圖
802:擴增實境(AR)元件
804:使用者手/使用者身體部分
806:箭頭
900:實例環境
900-1:細節視圖
900-2:細節視圖
902:擴增實境(AR)元件
904:使用者手/使用者身體部分
906:箭頭
908:箭頭
1000:方法
1002:步驟
1004:步驟
1006:步驟
1008:步驟
1010:步驟
1012:步驟
1200:實例環境
1200-1:細節視圖
1200-2:細節視圖
1200-3:細節視圖
1202:左手
1204:右手
1206:陰影箭頭
1208:點線箭頭
1210:二維(2D)介面
1212:觸摸輸入控制
1300:計算系統
1302:通信裝置
1304:裝置資料
1306:資料輸入
1308:通信介面
1310:處理器
1312:處理與控制電路
1314:電腦可讀媒體
1316:通信介面
1318:裝置應用程式
1320:作業系統
促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統之一或多個態樣的細節參考以下圖式描述於本文件中。貫穿圖式使用相同數字指代相似特徵及組件：圖1說明可實施實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術之實例環境。
圖2說明圖1之智慧型手機之實例實施，該智慧型手機包括一雷達系統且可實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統。
圖3說明圖2之雷達系統之實例實施。
圖4說明用於圖3之雷達系統的接收天線元件之實例配置。
圖5說明圖2之雷達系統之實例實施的額外細節。
圖6說明可由圖2之雷達系統實施之實例方案。
圖7說明可實施實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術之另一實例環境。
圖8說明圖7之雷達系統之實例實施，其描述關於雷達系統使用三維 (3D)手勢以實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統之能力的額外細節。
圖9說明圖7之雷達系統之另一實例實施，其描述關於雷達系統使用3D手勢以實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統之能力的更多細節。
圖10及圖11描繪實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的實例方法。
圖12說明圖10及圖11之方法之額外細節。
圖13說明可實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的實例計算系統，或其中可實施實現該基於智慧型手機之雷達系統的技術的實例計算系統。
概述
本文件描述實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術及系統。如所述，使用觸摸輸入介面進行擴增實境(AR)應用程式之複雜輸入可具有挑戰性，原因在於難以使用二維(2D)觸控式螢幕操控三維(3D)物件。因此，使用者可能由於觸摸輸入方法之侷限性而無法實現其AR應用程式之完整潛能。技術及系統採用雷達視野準確判定三維(3D)手勢(例如，包含由雷達視野照明之3D空間內的在任何方向上之一或多個動作的手勢)。3D手勢可用以與擴增實境(AR)物件互動。除非由特定內容背景另外規定，否則提高之準確性指代提高之改進度、提高之事實一致性、或提高之改進度及提高之事實一致性兩者。因為技術及系統使用雷達視野使得電子裝置能夠 辨識電子裝置周圍的在3D空間中做出的手勢，所以使用者不一定必須觸摸螢幕或阻擋觀看呈現於顯示器上之物件。
技術及系統可使得電子裝置能夠在AR環境中辨識3D手勢及二維(2D)觸摸輸入兩者。通常，AR內容涉及真實物件。因此，當使用者來回移動裝置以觀看具有AR功能之真實物件時，AR內容可呈現於顯示器上，作為2D觸摸輸入控制，同時真實物件位於顯示器框內。舉例而言，傢俱店中的裝飾用植物之AR內容可包括產品資訊及購買選項。在運用所描述技術使用雷達視野的情況下，電子裝置可判定使用者接近顯示器上的2D觸摸輸入控制，且將觸摸輸入控制固定或鎖定至2D觸控式螢幕一特定位置。此允許使用者與控制互動，即使使用者移動電子裝置從而使得真實物件不再位於顯示器框內亦如此。另外，技術及系統可使得裝置能夠判定可用以在三維中操控AR物件之3D手勢。技術由此藉由實現用於與3D物件互動之方便且自然的3D手勢，而不必阻擋使用者觀看，來改良使用者在使用AR應用程式時的效率、工作流及樂趣。
舉例而言，考慮包括具有在購物時提供附加功能性之AR介面的基於雷達之應用程式的電子裝置。舉例而言，基於雷達之應用程式可允許使用者觀看商店中之真實物件，且顯示與真實物件相關聯之AR物件，諸如虛擬價格標籤或允許使用者將真實物件添加至虛擬購物車的鏈接。在此實例中，電子裝置可包括實現AR介面之多個攝影機。習知AR介面主要經組態用於「發現」(例如，圍繞真實環境水平移動以顯示任何可用的AR內容)。因此，使用者可在真實環境中來回移動裝置，且顯示於螢幕上的與真實物件相關之經觸摸啟動之AR內容可呈現於所顯示真實物件附近的螢幕上(例如「添加至購物車」按鈕)。然而，習知AR介面通常不 便於在觸控式螢幕上進行觸摸互動。舉例而言，為與AR內容互動，使用者必須嘗試用一隻手保持裝置穩定，同時用另一隻手接近裝置。此可阻擋使用者觀看顯示器，或導致使用者移動裝置從而使得真實物件不再顯示，此導致基於雷達之應用程式停止顯示AR內容。與AR介面之互動始終困難或不便可降低使用者之效率、手勢之有效性，及使用者體驗裝置及應用程式的品質。
將此等習知技術與本文件中所描述之系統及技術進行對比，其可改良若干區域中的效率及可用性。舉例而言，在實例上文中，使用者用第一隻手圍繞真實環境移動裝置，且與真實物件相關的用觸摸啟動之AR內容呈現於螢幕上，位於所顯示真實物件附近(例如，「添加至購物車」按鈕)。在此情況下，電子裝置可包括雷達系統，其可提供擴展至圍繞裝置之區域中的雷達視野(例如，圍繞裝置的五呎或八呎半徑，區域最常包括包含使用者另一隻手的「攝影機後」的空間)。雷達感測器可使用自進入雷達視野之物件所反射的雷達信號來偵測使用者另一隻手接近電子裝置。當偵測此接近時，電子裝置可將AR內容固定於特定位置處，從而使得AR內容並不移動或消失，即使使用者保持移動裝置亦如此。
以此方式，所描述技術及系統允許基於觸摸之AR內容及應用程式的簡單且方便之互動。使用者可享受AR應用程式之發現特徵，且仍易於與基於觸摸之AR內容互動。此可改良效率且減少使用者沮喪，諸如必須使物件重新位於框內以存取AR內容，其提高使用者體驗之品質。此外，雷達系統之功率消耗可實質上小於可使用多個攝影機來提供AR介面且判定使用者是否接近電子裝置的一些習知技術。
此等為本文中所描述之技術及裝置可如何用以允許使用者 用3D及2D手勢兩者與AR應用程式及物件互動的僅僅幾個實例。該等實例的其他實例及實施遍及本文件進行描述。文件現變成實例環境，其後描述實例系統、設備、方法及組件。
操作環境
圖1說明可實施實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術之實例環境100。實例環境100包括智慧型手機102，其包括雷達系統104、基於雷達之應用程式106及顯示器108，或與其相關聯。雷達系統104之一些實施例如在諸如智慧型手機102之智慧型手機的內容背景下應用而尤其有利，對於此存在一系列問題，諸如對低功率之需求、對處理效率之需求、天線元件之間距及佈局的限制、及其他問題，且該等實施例在需要精密手勢之雷達偵測之智慧型手機的特定內容背景下甚至進一步有利。儘管該等實施例在需要精密雷達偵測之手勢之智慧型手機的所描述內容背景下尤其有利，但應瞭解，本發明之特徵及有點之適用性不必如此有限，且涉及其他類型之電子裝置的其他實施例亦可處於本發明教示之範疇內。
在實例環境100中，雷達系統104藉由傳輸一或多個雷達信號或波形提供雷達視野110，如下文參考圖3至圖6所描述。雷達視野110為雷達系統104可自其偵測雷達信號及波形之反射的空間體積(例如，空間體積中的自物件反射之雷達信號及波形)。雷達系統104亦使得智慧型手機102能夠感測且分析來自雷達視野110中之物件112的反射。物件112可為多種物件中之任一者，其中雷達系統104可感測且分析來自該等物件之反射，諸如原木、塑膠、金屬、織品或人體部分(例如，智慧型手機102之使用者的手)。基於反射之分析，雷達系統104可提供雷達資料，包括與雷達 視野110相關聯之各種類型之資訊及來自物件112之反射，如下文參考圖3至圖6所描述(例如，雷達系統104可將雷達資料傳遞至其他實體，諸如基於雷達之應用程式106)。此外，基於雷達資料，雷達系統104、基於雷達之應用程式106或另一實體可判定雷達視野110中之物件112朝向顯示器108移動(如藉由陰影箭頭114所示)。
應注意，可基於來自雷達視野110中之物件112的經感測及經分析反射，隨時間推移不斷地或週期性地提供雷達資料。物件112之方位可隨時間推移改變(例如，物件112可在雷達視野110內移動)，且雷達資料可因此對應於所變化之方位、反射及分析而隨時間推移變化。因為雷達資料可隨時間推移而變化，所以雷達系統104可提供雷達資料，其包括對應於不同時段的雷達資料之一或多個子集。舉例而言，雷達系統104可提供對應於第一時間週期的雷達資料之第一子集、對應於第二時間週期的雷達資料之第二子集等等。
基於雷達之應用程式106亦可經由顯示器108呈現擴增實境(AR)元件116。AR元件116包括觸摸輸入控制118，且涉及經由顯示器108可見的真實物件120-1。當觸摸時，觸摸輸入控制118可提供關於真實物件120-1之額外細節(例如，尺寸、重量或技術規範)、購買真實物件120-1之鏈接，或與真實物件120-1相關的項目清單。如圖1中所示，AR元件116為包括觸摸輸入控制118之虛擬價格標籤。以此方式，使用者可觸摸AR元件116，且觸摸輸入控制118呈現額外AR內容。
在一些實施中，基於雷達之應用程式106可為AR應用程式，其可在顯示器108上呈現真實物件120-1之影像及與真實物件120-1相關之AR元件116兩者。舉例而言，如圖1中所示，真實物件120-1為裝飾用 植物，其既展示於真實環境中亦展示為顯示器108上的影像120-2(影像120-2由虛線箭頭指示)。在一些實施中，基於雷達之應用程式106即時地(或近乎即時地)呈現真實物件120-1之影像120-2。可(例如)經由一或多個影像俘獲裝置實現即時或近乎即時之呈現，該一或多個影像俘獲裝置包括有智慧型手機102或與該智慧型手機分開但與其通信。
回應於判定雷達視野110中之物件112向著顯示器108移動，基於雷達之應用程式106可在智慧型手機102之觸控式螢幕上的固定位置處提供觸摸輸入控制118。在一些實施中，基於雷達之應用程式106可維持觸摸輸入控制118之固定位置，即使當真實物件120-1之影像120-2自身不再於顯示器108中可見時亦如此。此外，基於雷達之應用程式106可回應於固定位置處的觸摸輸入控制118未在判定雷達視野110中之物件112向著顯示器108移動之臨限時間內被觸摸，停止在固定位置提供觸摸輸入控制。舉例而言，基於觸摸輸入控制118在臨限時間內未被觸摸，基於雷達之應用程式106可返回至預設模式，基於雷達之應用程式106可停止呈現觸摸輸入控制118(例如，觸摸輸入控制消失)，或基於雷達之應用程式106可繼續呈現觸摸輸入控制118，不在固定位置，而在適合於內容被呈現於顯示器108上的任何位置處。臨限時間可為任何適當時間，諸如1.5秒(s)、2s或3s。在另外其他實施中，若雷達視野110中之物件112經判定為以大於臨限速度之速度向著顯示器108移動(例如，0.25呎/秒(fps)、0.5fps或0.75fps)，則基於雷達之應用程式106可在固定位置提供觸摸輸入控制。因此，智慧型手機102連同雷達系統104及基於雷達之應用程式106一起工作，以使得AR應用程式之使用者能夠在AR環境中有效且便利地使用觸摸輸入。
舉例而言，假定智慧型手機102包括了包括AR特徵及功能性之應用程式。為存取AR功能性中之至少一些，使用者必須保持真實物件位於智慧型手機102之顯示器108框內，同時接近且觸摸顯示器108以啟動各種觸摸輸入控制。此可使得使用者面臨一些挑戰，原因在於接近顯示器108可能阻擋使用者觀看顯示器108，使其難以與控制互動。一些使用者亦可難以保持一些裝置穩定，尤其大型或重的裝置。此外，若使用者移動智慧型手機102從而使得真實物件不再位於框內，則可能不再顯示AR控制。相反地，考慮提供雷達視野110之雷達系統104，其使得雷達系統104(或另一實體，諸如基於雷達之應用程式106)能夠自動判定使用者何時接近顯示器108且接著順暢且自動地將控制凍結或固定於顯示器108上。如容易地顯而易見，雷達系統104可使得AR介面實質上更易於且更便於使用，且相比於使用習知AR介面之裝置提供經改良體驗。
更詳細地，考慮圖2，其說明智慧型手機102(包括雷達系統104、基於雷達之應用程式106及顯示器108)之實例實施200。圖2之智慧型手機102經說明以包括可實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的其他非限制性實例裝置，其包括行動電話102-1、平板電腦102-2、膝上型電腦102-3、桌上型電腦102-4、計算表102-5、計算眼鏡102-6、遊戲系統102-7、微波102-8及交通工具102-9。其他電子裝置亦可包括電視、娛樂系統、音訊系統、無人機、軌跡板、繪圖板、迷你筆記型電腦、電子閱讀器、家用自動與控制系統、家用安全系統及其他家用電器。應注意，可實施所描述之技術的電子裝置可為穿戴式的、非穿戴式但行動的，或相對不能移動的(例如，桌上型電腦及電器)。
舉例而言，智慧型手機102之例示性總體橫向尺寸可係大致八厘米乘大致十五厘米。雷達系統104之例示性覆蓋區可能甚至更有限，諸如大致四毫米乘大致六毫米(包括天線)。雷達系統104之例示性功率消耗可為幾毫瓦(Mw)至若干mW(例如，介於大致二mW與二十mW之間)的數量級。雷達系統104之此有限涵蓋範圍的要求會損害雷達手勢檢測之準確性及效能，可鑒於本文中之教示而一定程度上克服該等損害，需要此要求以適應此空間有限封裝(例如，相機、指紋感測器、顯示器108等等)之智慧型手機102的許多其他合乎需要特徵以及功率及處理限制。
智慧型手機102亦包括一或多個電腦處理器202及一或多個電腦可讀媒體204，其包括記憶體媒體及儲存媒體。實施為電腦可讀媒體204上的電腦可讀指令之應用程式及/或作業系統(圖中未示)可藉由電腦處理器202執行以提供本文中所描述之功能性中的一些。智慧型手機102亦可包括網路介面。智慧型手機102可將網路介面206用於經由有線、無線或光學網路傳達資料。借助於實例(且非限制)，網路介面206可經由區域網路(LAN)、無線區域網路(WLAN)、個人區域網路(PAN)、廣域網路(WAN)、企業內部網路、網際網路、點對點網路、點對點網路或網狀網路傳送資料。
雷達系統104之各種實施可包括系統單晶片(SoC)、一或多個積體電路(IC)、具有嵌人式處理器指令或經組態以存取儲存於記憶體中之處理器指令的處理器、具有嵌入型韌體之硬體、具有各種硬體組件之印刷電路板或其任何組合。雷達系統104藉由傳輸及接收其自身雷達信號而操作為單站雷達。在一些實施中，雷達系統104亦可與位於外部環境內的其他雷達系統104合作，以實施雙站雷達、多站雷達或網路雷達。如所 述，智慧型手機102之約束或侷限性可影響雷達系統104之設計。舉例而言，智慧型手機102可具有可用於操作雷達之有限功率、有限計算能力、大小約束、佈侷限制、使雷達信號減弱或失真之外部殼體等等。雷達系統104包括使得在存在此等約束的情況下能夠實現進階雷達功能性及高效能的若干特徵，如下文關於圖3進一步描述。應注意，在圖2中，雷達系統104說明為智慧型手機102之部分。在其他實施中，雷達系統104可與智慧型手機102分開或遠離該智慧型手機。
下方更詳細地闡述此等及其他能力及組態，以及圖1之實體起作用及互動的方法。此等實體可進一步劃分、組合等等。圖1之環境100及圖2至圖12之詳細圖示說明能夠採用所描述之技術的許多可能環境及裝置中之一些。圖3至圖6描述雷達系統104之額外細節及特徵。在圖3至圖6中，雷達系統104描述於智慧型手機102之內容背景中，但如上所指出，所描述系統及技術之特徵及優勢的適用性不必如此受限，且涉及其他類型之電子裝置的其他實施例亦可處於本發明教示之範疇內。
圖3說明可用以實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的雷達系統104之實例實施300。在實例300中，雷達系統104包括以下組件中之每一者中的至少一者：通信介面302、天線陣列304、收發器306、處理器308及系統媒體310(例如，一或多個電腦可讀儲存媒體)。處理器308可實施為數位信號處理器、控制器、應用程式處理器、另一處理器(例如，智慧型手機102之電腦處理器202)或其某一組合。可包括於智慧型手機102之電腦可讀媒體204內或與該電腦可讀媒體分開的系統媒體310包括以下模組中之一或多者：衰減緩解器314、數位波束成形器316、角度估計器318或電 力管理器320。此等模組可補償或緩解將雷達系統104整合於智慧型手機102內的影響，由此使得雷達系統104能夠辨識小的或複雜的手勢、區分使用者之不同定向、不斷監視外部環境，或實現目標假警率。在具有此等特徵的情況下，雷達系統104可實施於多種不同裝置內，諸如圖2中所說明之裝置。
在使用通信介面302的情況下，雷達系統104可將雷達資料提供至基於雷達之應用程式106。通信介面302可為基於雷達系統104經實施為與智慧型手機102分開或整合於該智慧型手機內的無線或有線介面。取決於應用，雷達資料可包括原始或經最小處理之資料、同相及正交(I/Q)資料、範圍都卜勒資料、包括目標位置資訊(例如，範圍、方位角、仰角)之經處理資料、雜波地圖資料等等。大體而言，雷達資料含有可藉由基於雷達之應用程式106用於實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的資訊。
天線陣列304包括至少一個傳輸天線元件(圖中未示)及至少兩個接收天線元件(如圖4中所展示)。在一些狀況下，天線陣列304可包括多個傳輸天線元件以實施多入多出(MIMO)雷達，該MIMO雷達能夠在一時間傳輸多個相異波形(例如，每個傳輸天線元件傳輸不同波形)。多個波形之使用可增大雷達系統104之測量準確性。接收天線元件可定位為一維形狀(例如，一條線)或二維形狀以供用於包括三個或更多個接收天線元件之實施。一維形狀使得雷達系統104能夠量測一個角維度(例如，方位角或仰角)，而二維形狀使得能夠量測兩個角維度(例如，方位角及仰角兩者)。關於圖4進一步描述接收天線元件之實例二維配置。
圖4說明接收天線元件402之實例配置400。舉例而言，若 天線陣列304包括至少四個接收天線元件402，則接收天線元件402可以如圖4之中間中所描繪之矩形配置404-1配置。或者，若天線陣列304包括至少三個接收天線元件402，則可使用三角形配置404-2或L形配置404-3。
歸因於智慧型手機102之大小或佈局約束，接收天線元件402或一定量的接收天線元件402之間的元件間隔對於雷達系統104進行監視之角度而言可能並非係理想的。詳言之，元件間隔可導致出現角度不明確性，其使得習知雷達面臨估計目標之角度方位之挑戰。習知雷達可因此限制視野(例如，待監視之角度)以避免具有角度不明確性之不明確區域，且從而減少假偵測。舉例而言，習知雷達可將視野限制為大致-45度至45度之間的角度，以避免使用5毫米(mm)波長及3.5mm元件間隔(例如，元件間隔為波長之70%)時出現的角度不明確性。因此，習知雷達可能無法偵測超出視野之45度限制的目標。相反地，雷達系統104包括數位波束成形器316及角度估計器318，其解析角度不明確性，且使得雷達系統104能夠監視超出45度限制之角度，諸如介於大致-90度至90度之間，或達至大致-180度及180度的角度。此等角度範圍可應用於一或多個方向上(例如，方位角及/或仰角)。因此，雷達系統104可針對多種不同天線陣列設計實現低假警率，包括小於、大於或等於雷達信號之中心波長的一半的元件間隔。
使用天線陣列304，雷達系統104可形成經轉向或未經轉向、寬或窄、或經整形(例如，經整形為半球、立方體、扇形、錐或圓柱)之波束。作為實例，一或多個傳輸天線元件(圖中未示)可具有未經轉向全向輻射場型，或可以能夠產生寬波束，諸如寬傳輸波束406。此等技術中之任一者使得雷達系統104能夠照明大空間體積。然而，為獲得目標角度 準確性及角度解析度，接收天線元件402及數位波束成形器316可用以產生數千個窄且經轉向波束(例如，2000個波束、4000個波束或6000個波束)，諸如窄接收波束408。以此方式，雷達系統104可有效地監視外部環境，且準確地判定外部環境內的反射之入射角。
返回至圖3，收發器306包括用於經由天線陣列304傳輸且接收雷達信號之電路系統及邏輯。收發器306之組件可包括用於調節雷達信號之放大器、混頻器、開關、類比至數位轉換器、濾波器等等。收發器306亦可包括用以執行諸如調變或解調之同相/正交(I/Q)操作的邏輯。收發器306可經組態用於連續波雷達操作或經脈衝雷達操作。多種調變可用以產生雷達信號，包括線性頻率調變、三角形頻率調變、步進頻率調變或相位調變。
收發器306可產生處於一頻率範圍內的雷達信號(例如，頻譜)，諸如介於1吉赫(GHz)與400GHz之間、介於4GHz與100GHz之間，或介於57GHz與63GHz之間。頻譜可劃分成具有類似頻寬或不同頻寬之多個子頻譜。頻寬可為500兆赫茲(MHz)、1GHz、2GHz等等之數量級。作為一實例，不同子頻譜可包括大致57GHz與59GHz、59GHz與61GHz或61GHz與63GHz之間的頻率。亦可針對同調性選擇具有同一頻寬且可為相連或非相連的多個子頻譜。多個子頻譜可使用單個雷達信號或多個雷達信號同步傳輸，或在時間上分開。相連子頻譜使得雷達信號具有較寬頻寬，而非相連子頻譜可進一步強調使得角度估計器318能夠解析角度不明確性的振幅與相位差。衰減緩解器314或角度估計器318可使得收發器306利用一或多個子頻譜改良雷達系統104之效能，如關於圖5及圖6進一步描述。
電力管理器320使得雷達系統104能夠在智慧型手機102內部或外部省電。舉例而言，在內部，電力管理器320會使得雷達系統104使用預定義功率模式或特定工作循環收集資料。代替在低功率模式或高功率模式任一者下操作，電力管理器320在不同功率模式之間動態地切換，從而回應延遲及功率消耗基於環境內的活動性一起管理。一般而言，電力管理器320判定功率可何時保存及如何保存，且逐漸地調整功率消耗以使得雷達系統104能夠在智慧型手機102之功率限制內操作。在一些狀況下，電力管理器320可監視剩餘的可用電量，且因此調整雷達系統104之操作。舉例而言，若剩餘電量低，則電力管理器320可繼續在低功率模式下操作，而非切換至較高功率模式。
舉例而言，低功率模式可使用數量級為幾赫茲(例如，大致1Hz或小於5Hz)之低工作循環，其將功率消耗降低至幾毫瓦(mW)(例如，介於大致2mW與5mW之間)。在另一方面，高功率模式可使用數量級為數十赫茲(Hz)(例如，大致20Hz或超過10Hz)之高工作循環，其使得雷達系統104消耗數量級為若干毫瓦之功率(例如，介於大致8mW與20mW之間)。雖然低功率模式可用以監視外部環境或偵測接近之使用者，但電力管理器320可在雷達系統104判定使用者正開始執行手勢的情況下切換至高功率模式。不同觸發事件可導致電力管理器320在不同功率模式之間切換。實例觸發事件包括運動或缺少運動、使用者出現或消失、使用者移進指定區域或移出指定區域(例如，由範圍、方位角或仰角界定之區域)、與使用者相關聯之運動之速度變化，或反射之信號強度的變化(例如，歸因於雷達橫斷面之變化)。一般而言，指示使用者與智慧型手機102互動之較低機率或使用較長回應延遲之收集資料偏好的觸發事件可導致啟 動低功率模式而省電。
電力管理器320亦可藉由在非作用時間段期間斷開收發器306(例如，壓力控制振盪器、多工器、類比至數位轉換器、鎖相迴路或晶體振盪器)內的一或多個組件來省電。此等非作用時間段出現在雷達系統104未有效地傳輸或接收雷達信號的情況下，其可為微秒(μs)、毫秒(ms)或秒(s)之數量級。另外，電力管理器320可控制雷達系統104內的不同硬體組件之使用以省電。若處理器308包含低功率處理器及高功率處理器(例如，具有不同記憶量及計算能力之處理器)，舉例而言，則電力管理器320可在將低功率處理器用於低層級分析(例如，偵測運動、判定使用者之位置或監視環境)與將高功率處理器用於藉由基於雷達之應用程式106請求高保真或精確雷達資料的情境(例如，用於手勢辨識或使用者定向)之間切換。
除上文所描述之內部功率節省技術之外，電力管理器320亦可藉由啟動或去啟動位於智慧型手機102內的其他外部組件或感測器，來節省智慧型手機102內的電力。此等外部組件可包括揚聲器、攝影機感測器、全球定位系統、無線通信收發器、顯示器、回轉儀或加速計。因為雷達系統104可使用少量電力來監視環境，所以電力管理器320可基於使用者位於何處或使用者正在做什麼而恰當地接通或斷開此等外部組件。以此方式，智慧型手機102可順暢地對使用者作出回應，且在不使用自動切斷定時器或使用者實體上觸摸或口頭地控制智慧型手機102的情況下省電。
圖5說明智慧型手機102內的雷達系統104之實例實施500之額外細節。在實例500中，天線陣列304定位於智慧型手機102之外部殼體 下方，諸如玻璃蓋或外部殼體。取決於其材料性質，外部殼體可充當衰減器502，其使得藉由雷達系統104傳輸且接收之雷達信號減弱或失真。衰減器502可包括不同類型之玻璃或塑膠，其中一些可見於智慧型手機102之顯示器螢幕、外部殼體或其他組件內，且具有介於大致四與十之間的介電常數(例如，相對電容率)。因此，衰減器502對於雷達信號506係不透明或半透明的，且可導致經傳輸或接收之雷達信號506之一部分得以反射(如藉由經反射部分504所示)。對於習知雷達，衰減器502可減少可經監視之有效範圍，防止偵測小目標，或降低整體準確性。
假定雷達系統104之傳輸功率受到限制且重新設計外部殼體不合乎需要，雷達信號506之一或多個衰減相關性質(例如，子頻譜508或轉向角510)或衰減器502之衰減相關特性(例如，衰減器502與雷達系統104或衰減器502之厚度514之間的距離512)經調整以緩解衰減器502之效果。此等特性中之一些可在製造期間進行設定，或在雷達系統104之操作期間藉由衰減緩解器314調整。舉例而言，衰減緩解器314可使用所選擇之子頻譜508或轉向角510使得收發器306傳輸雷達信號506，使得平台將雷達系統104移動地更接近或更遠離衰減器502以改變距離512，或提示使用者應用另一衰減器以增加衰減器502之厚度514。
可藉由衰減緩解器314基於衰減器502之預定特性(例如，儲存於智慧型手機102之電腦可讀媒體204中或位於系統媒體310內的特性)，或藉由雷達信號506之處理恢復進行適當調整，以量測衰減器502之一或多個特性。即使衰減相關特性中的一些係固定的或受約束的，衰減緩解器314可考慮此等侷限性以平衡每一參數且達成目標雷達效能。因此，衰減緩解器314使得雷達系統104能夠實現用於偵測且追蹤位於衰減器502 之相對側上的使用者的增強之準確性及較大有效範圍。此等技術提供替代方式增大傳輸功率，此增大雷達系統104之功率消耗，或提供替代方式改變衰減器502之材料性質，一旦裝置處於生產中，此可為困難且昂貴的。
圖6說明藉由雷達系統104實施之實例方案600。方案600之部分可由處理器308、電腦處理器202或其他硬體電路系統執行。方案600可經自訂以支援不同類型之電子裝置及基於雷達之應用程式106，且亦使得雷達系統104能夠獲得目標角度準確性，而不管設計約束如何。
收發器306基於接收天線元件402對所接收雷達信號之個別回應而產生原始資料602。所接收雷達信號可與藉由角度估計器318選擇以促進角度不明確性解析的一或多個子頻譜604相關聯。舉例而言，子頻譜604可經選擇以減少旁瓣之數量，或減少旁瓣之振幅(例如，將振幅減少0.5dB、1dB或更多)。子頻譜之數量可基於雷達系統104之目標角度準確性或計算侷限性而判定。
原始資料602含有針對一段時間、不同波數，及分別與接收天線元件402相關聯之多個通道的數位資訊(例如，同相及正交資料)。對原始資料602執行快速傅里葉變換(FFT)606以產生經預處理資料608。經預處理資料608包括該段時間、不同範圍(例如，範圍倉)及多個通道的數位資訊。對經預處理資料608執行都卜勒濾波過程610以產生範圍都卜勒資料612。都卜勒濾波過程610可包含產生多個範圍倉、多個都卜勒頻率及多個通道的振幅與相位資訊之另一FFT。數位波束成形器316基於範圍都卜勒資料612產生波束成形資料614。波束成形資料614含有針對一組方位角及/或仰角之數位資訊，其表示視野，其中藉由數位波束成形器316針對該視野形成不同轉向角或波束。儘管未描繪，但數位波束成形器316 可替代地基於經預處理資料608產生波束成形資料614，且都卜勒濾波過程610可基於波束成形資料614產生範圍都卜勒資料612。為減少計算之數量，數位波束成形器316可基於所關注的範圍、時間或都卜勒頻率間隔處理範圍都卜勒資料612或經預處理資料608之一部分。
數位波束成形器316可使用單觀點波束成形器616、多觀點干涉儀618或多觀點波束成形器620實施。一般而言，單觀點波束成形器616可用於確定性物件(例如，具有單個相位中心之點源目標)。對於非確定性目標(例如，具有多個相位中心之目標)，多觀點干涉儀618或多觀點波束成形器620用以相對於單觀點波束成形器616改良準確性。人類為非確定性目標之實例，且具有可基於不同態樣角度改變的多個相位中心622，如在624-1及624-2所示。藉由多個相位中心622產生的建設性或破壞性干涉之變化可使得習知雷達面臨準確判定角度方位之挑戰。然而，多觀點干涉儀618或多觀點波束成形器620執行相干平均化以提高波束成形資料614之準確性。多觀點干涉儀618將兩個通道相干地平均化以產生可用以準確判定角度資訊之相位資訊。在另一方面，多觀點波束成形器620可使用線性或非線性波束成形器相干地平均化兩個或更多個通道，諸如傅里葉、卡彭、多信號分類(MUSIC)或最小變化失真較少回應(MVDR)。經由多觀點波束成形器620或多觀點干涉儀618提供的增大之準確性使得雷達系統104能夠辨識小手勢或區分使用者之多個部分。
角度估計器318分析波束成形資料614以估計一或多個角度方位。角度估計器318可利用信號處理技術、圖案匹配技術或機器學習。角度估計器318亦解析角度不明確性，其可起因於雷達系統104或雷達系統104所監視之視野的設計。實例角度不明確性經展示為位於振幅曲線 626內(例如，振幅回應)。
振幅曲線626描繪可針對目標之不同角度方位及不同轉向角510出現的振幅差。針對安置於第一角度方位630-1處的目標展示第一振幅回應628-1(用實線說明)。同樣，針對安置在第二角度方位630-2處的目標展示第二振幅回應628-2(用點線說明)。在此實例中，考慮-180度與180度之間的角度之差。
如振幅曲線626中所示，針對兩個角度方位630-1及630-2存在不明確區域。第一振幅回應628-1在第一角度方位630-1處具有最高峰，且在第二角度方位630-2處具有較小峰。雖然最高峰對應於目標之實際方位，但較小峰使得第一角度方位630-1不明確，此係因為其處於某一臨限內，針對該臨限，習知雷達可能無法確信地判定目標處於第一角度方位630-1抑或第二角度方位630-2。相反地，第二振幅回應628-2在第二角度方位630-2處具有較小峰，且在第一角度方位630-1處具有較高峰。在此狀況下，較小峰對應於目標之位置。
雖然習知雷達可受限於使用最高峰振幅判定角度方位，但角度估計器318實際上分析振幅回應628-1與628-2之形狀的微妙差。形狀之特性可包括(例如)下降、峰或零位寬、峰或零位之角度位置、峰及零位之高度或深度、旁瓣之形狀、振幅回應628-1或628-2內的對稱性，或振幅回應628-1或628-2內缺少對稱性。可在相位回應中分析類似形狀特性，其可提供用於解析角度不明確性之額外資訊。因此角度估計器318將獨特角度標誌或圖案映射至角度方位。
角度估計器318可包括可根據電子裝置之類型(例如，計算能力或功率約束)或基於雷達之應用程式106的目標角度解析度選擇的一套 演算法或工具。在一些實施中，角度估計器318可包括神經網路632、卷積神經網路(CNN)634或長短期記憶體模型(LSTM)網路636。神經網路632可具有各種深度或數量之隱藏層(例如，三個隱藏層、五個隱藏層或十個隱藏層)，且亦可包括不同數量之連接(例如，神經網路632可包含全連接神經網路或部分連接神經網路)。在一些狀況下，CNN 634可用以提高角度估計器318之計算速度。LSTM網路636可用以使得角度估計器318能夠追蹤目標。使用機器學習技術，角度估計器318採用非線性函數來分析振幅回應628-1或628-2之形狀，且產生角度機率資料638，其指示使用者或使用者之一部分處於角度倉內的可能性。角度估計器318可向幾個角度倉(諸如兩個角度倉，以提供目標位於智慧型手機102之左側或右側的機率)或向數千個角度倉提供角度機率資料638(例如，以向連續角度測量提供角度機率資料638)。
基於角度機率資料638，追蹤器模組640產生角度方位資料642，其識別目標之角度位置。追蹤器模組640可基於具有角度機率資料638中之最高機率的角度倉，或基於預測資訊(例如，先前所量測角度方位資訊)判定目標之角度位置。追蹤器模組640亦可追蹤一或多個移動目標，以使得雷達系統104能夠確信地區分或識別該等目標。其他資料亦可用以判定角度方位，包括範圍、都卜勒、速度或加速度。在一些狀況下，追蹤器模組640可包括α-β追蹤器、卡爾曼濾波器、多假定追蹤器(MHT)等等。
量化器模組644獲得角度方位資料642，且將該資料量化以產生經量化角度方位資料646。可基於基於雷達之應用程式106之目標角度解析度執行量化。在一些情境中，可使用較少量化層級，使得經量化角度方位資料646指示目標位於智慧型手機102之右側抑或左側，或識別目 標所處的90度象限。此可能足夠用於一些基於雷達之應用程式106，諸如使用者近接偵測。在其他情境中，可使用較大數目個量化層級，使得經量化角度方位資料646指示目標位於百分率、一度、五度等等之準確性內的角度方位。此解析度可用於較高解析度基於雷達之應用程式106，諸如手勢辨識。在一些實施中，數位波束成形器316、角度估計器318、追蹤器模組640及量化器模組644一起實施於單個機器學習模組中。
下文闡述此等及其他能力及組態，以及圖1至圖6之實體起作用且互動的方法。所描述實體可進一步劃分、組合，連同其他感測器或組件使用等等。以此方式，具有雷達系統104及非雷達感測器之不同組態的電子裝置(例如，智慧型手機102)之不同實施可用以實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統圖1之實例操作環境100及圖2至圖6之詳細圖示說明能夠採用所描述之技術的許多可能環境及裝置中的僅僅一些。
實例系統
如上所指出，本文中所描述之技術及系統亦可使得裝置能夠判定可用以操控擴增實境(AR)物件之三維(3D)手勢。
圖7說明可實施實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術之另一實例環境700。實例操作環境700包括智慧型手機102，其包括雷達系統104、顯示器108及基於雷達之應用程式702或與其相關聯。雖然實例操作環境700在智慧型手機102之內容背景中進行說明，但亦可使用如上文參考圖1及圖2所描述之其他電子裝置實施參考圖7至圖9所描述之特徵及技術。在實例環境700中，雷達系統104提供如上文參考圖1至圖6所描述之 雷達視野110。雷達系統104亦使得智慧型手機102能夠感測且分析來自雷達視野110中之物件704的反射。如圖7中所示，物件704為人手，但物件704可為雷達系統104可自其感測且分析反射的多種物件中之任一者，諸如原木、塑膠、金屬、織品或有機材料(例如，使用者之身體部分)。基於反射之分析，雷達系統104可提供如上文參考圖1至圖6所描述之雷達資料。舉例而言，雷達系統104可將雷達資料傳遞至其他實體，諸如基於雷達之應用程式702。
基於雷達之應用程式702可為可經由顯示器108呈現AR元件706，且接收選擇AR元件706之輸入的多種能夠進行AR之應用程式中之任一者(例如，基於雷達之應用程式106)。經接收用於選擇AR元件706的輸入可為語音輸入或經由智慧型手機102之觸控式螢幕接收的觸摸輸入。此外，基於雷達之應用程式702可基於雷達資料判定藉由雷達視野110中之物件704做出的手勢(例如，使用者之手或其他身體部分)，且執行與對應於經判定手勢之所選擇AR元件706相關的動作。用以判定手勢之雷達資料為基於在已藉由基於雷達之應用程式702接收選擇AR元件706之輸入之後接收的反射之分析的雷達資料。在一些實施中，經判定手勢可為3D手勢(例如，包含由雷達視野110照明之3D空間內的在任何方向上的一或多個動作之手勢)。
3D手勢可為多種手勢中之任一者，包括藉由沿水平維度在智慧型手機102上方移動手做出的滾動手勢(例如，自智慧型手機102之左側至智慧型手機102之右側)，藉由使用者之臂圍繞肘部旋轉做出的波狀手勢、藉由沿豎直維度在智慧型手機102上方移動使用者手的推移手勢(例如，自智慧型手機102之底側至智慧型手機102之頂側)。亦可做出其他類 型之3D手勢或運動，諸如藉由向著智慧型手機102移動使用者手之接近手勢、藉由彎曲使用者手指抓緊假想門旋鈕且以順時針或逆時針方式旋轉以模仿轉動假想門旋鈕之動作的旋鈕轉動手勢，及藉由一起摩擦拇指及至少一個其他手指做出撚動主軸手勢。此等實例手勢類型中之每一者可由雷達系統104偵測到。當偵測到此等手勢中之每一者時，智慧型手機102可執行一動作，諸如顯示新內容、移動游標、啟動一或多個感測器、打開應用程式或操控AR元件。以此方式，雷達系統104提供智慧型手機102之無觸摸控制。在下文參考圖8及圖9描述例示性3D手勢及對應動作。
基於雷達之應用程式702亦可包括3D手勢模組708，其可儲存與基於雷達資料判定3D手勢相關的資訊及與對應於3D手勢之動作相關的資訊。以此方式，所描述設備及技術可使得AR應用程式之使用者順暢且便利地在AR環境中使用觸摸輸入及3D手勢兩者。
藉助於其他實例，考慮圖8及圖9，其分別說明實例實施800及900。實例實施800及900描述關於雷達系統104使用3D手勢實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的額外細節。
在圖8之細節視圖800-1中，實例環境800說明包括雷達系統104之智慧型手機102，其提供雷達視野110(圖中未示)。在細節視圖800-1中，假定使用者已(例如)藉由經由觸摸輸入選擇AR元件802而選擇AR元件802。使用者身體部分804(在此狀況下，使用者手804)處於雷達視野110中，且雷達系統104可判定藉由使用者手804做出的3D手勢。
在細節視圖800-2中，使用者已藉由改變使用者手804與雷達系統104之間的距離而做出手勢(例如，接近手勢)。在細節視圖800-2 中，藉由移動使用者手804以增加使用者手804與雷達系統104之間的距離，來改變距離，如藉由箭頭806所示。對應於此手勢之動作為移動所選擇AR元件802更接近使用者，其在細節視圖800-2中說明為所選擇AR元件802的增大之大小。類似地，儘管圖8中未展示，但使用者可藉由移動使用者手804以縮短使用者手804與雷達系統104之間的距離而做出一手勢。在此狀況下，對應於此手勢之動作為移動所選擇AR元件802離開使用者。
在一些實施中，移動所選擇AR元件802更接近使用者與使用者手804與雷達系統104之間的增大之距離成比例。類似地，移動所選擇AR元件802離開使用者與使用者手804與雷達系統104之間的縮短之距離成比例。在其他實施中，所選擇AR元件802之移動可與可自雷達資料進行判定的手勢之其他態樣(諸如速度或角度)成比例，或與手勢之各種態樣之一組合成比例。
在圖9之細節視圖900-1中，實例環境900說明包括雷達系統104之智慧型手機102，其提供雷達視野110(圖中未示)。在細節視圖900-1中，假定使用者已(例如)藉由經由觸摸輸入選擇AR元件902而選擇AR元件902。使用者身體部分904(在此狀況下，使用者手904)處於雷達視野110中，且雷達系統104可判定藉由使用者手904做出的3D手勢。
在細節視圖900-2中，使用者已藉由改變使用者手904相對於雷達系統104之方位而做出手勢，同時維持使用者手904與諸如顯示器108之平面的參考之間的實質上類似距離(例如，滾動手勢)。在細節視圖900-2中，使用者手904之所變化方位為自右向左運動，如藉由箭頭906所示。對應於此手勢之動作係所選擇AR元件902圍繞所選擇AR元件902之軸在如藉由箭頭908所示之一方向上的旋轉，且AR元件902之標記側的圖示 (標記為「X」)大致旋轉90度。類似地，儘管未展示於圖9中，但使用者可藉由將使用者手904自左至右移動而做出手勢。在此狀況下，對應此手勢之動作係所選擇AR元件902圍繞該軸在相反方向上的旋轉。
在一些實施中，所選擇AR元件902圍繞軸之旋轉的速度及量分別與使用者手904之一側至一側運動的速度或距離成比例。在其他實施中，AR元件902之旋轉可與可自雷達資料進行判定之手勢的其他態樣(諸如使用者手904的形狀或表面積)成比例，或與手勢之各種態樣之一組合成比例。
應注意，實例實施800及900僅為許多可能手勢中的兩個實例，其使用實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的所描述之技術、系統及設備成為可能。舉例而言，使用者可使用觸摸輸入選擇AR環境中之3D物件，隨後使用3D夾捏手勢使得3D物件變小或甚至刪除該物件。類似地，使用者可使用輕擊運動扔掉AR環境中之所選擇3D物件。
此外，所描述之技術亦可結合其他類型之應用程式(例如，非AR)使用或結合AR應用程式之非AR特徵使用。舉例而言，使用者可使用混合控制(例如，與3D手勢組合之觸摸或語音輸入)與基於圖式或本文之應用程式及特徵互動。在一個實例中，使用者可藉由將手指觸摸至裝置之觸控式螢幕且接著沿觸控式螢幕滑動手指，來在應用程式中畫線。隨後，使用者可抬高手指離開觸控式螢幕且使用3D手勢(諸如轉動虛擬撥號盤)改變線的厚度或其他屬性。在另一實例中，使用者可在觸控式螢幕上選擇、拷貝及黏貼本文。舉例而言，使用者可在觸控式螢幕上執行觸摸與夾捏手勢，以選擇所顯示本文之一部分。使用者可接著執行3D夾捏手勢以拷貝 本文，且切換回至觸摸輸入，將游標定位於觸控式螢幕上。另一3D夾捏手勢將所選擇本文黏貼於新位置中。以此方式，促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統實現觸摸與3D手勢之順暢整合，以改良AR及非AR應用程式兩者的功能性及使用者樂趣。
實例方法
圖10及圖11描繪實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的實例方法1000。方法1000可運用使用雷達系統以提供雷達視野之電子裝置執行。雷達視野用以判定雷達視野中之物件向著雷達系統移動，且可回應於判定物件正向著雷達系統移動而將各種觸摸輸入控制之位置固定至特定位置。方法1000展示為一組區塊，其指定經執行但不必受限於藉由各別區塊展示用於執行操作之次序或組合的操作。另外，可重複、組合、重組或鏈接操作中之一或多者中的任一者以提供額外及/或替代性方法之寬陣列。在以下論述之部分中，可參考圖1之實例操作環境100，或參考如圖2至圖9中詳述之實體或程序，僅僅出於實例而進行參考。技術不限於執行在一個裝置上操作之一個實體或多個實體。
在1002，提供雷達視野。此雷達視野可藉由多種電子裝置中之任一者提供(例如，上文所描述之智慧型手機102)，該等電子裝置包括顯示器(例如，顯示器108)、雷達系統(例如，雷達系統104)及基於雷達之應用程式(例如，基於雷達之應用程式106或702)。此外，雷達視野可為上文所描述的多種類型之雷達視野中之任一者，諸如雷達視野110。
在1004，藉由雷達系統感測來自雷達視野中之物件的反 射。物件可為多種物件中之任一者，諸如原木、塑膠、金屬、織品或有機材料。舉例而言，物件可為人體部分(例如，手)，諸如如上文所描述之物件112、704、804或904中之一者。
在1006，分析來自雷達視野中之物件的反射。該分析可由多種實體中之任一者(例如，雷達系統104或本文中所描述的基於雷達之應用程式中之任一者)執行，且可包括各種操作或判定，諸如參考圖3至圖6所描述之彼等。
在1008，基於反射之分析，提供雷達資料，諸如上文參考圖3至圖6所描述之雷達資料。雷達資料可藉由多種實體中之任一者提供，諸如雷達系統104或本文中所描述的基於雷達之應用程式中之任一者。在一些實施中，雷達系統可提供雷達資料，且將該雷達資料傳遞至其他實體(例如，所描述的基於雷達之應用程式中之任一者)。方法1000之描述在圖11中繼續，如在圖10之區塊1008之後由字母「A」指示，其對應於圖11之區塊1010之前的字母「A」。
在1010，基於雷達之應用程式經由顯示器(例如，顯示器108)呈現擴增實境(AR)元件。AR元件可為多種類型之AR元件中的任一者，諸如上文所描述之AR元件116。AR元件包括諸如上文所描述之觸摸輸入控制118的觸摸輸入控制，且涉及真實物件(例如，上文所描述之真實物件120-1)，該真實物件之影像呈現於顯示器上。
在1012，回應於雷達視野中之物件向著雷達系統移動的判定，提供觸摸輸入控制且將其維持在電子裝置之觸控式螢幕上的固定位置處。固定位置可為觸摸輸入控制最初進行顯示之位置，或顯示器上的另一位置。雷達視野中之物件向著雷達系統移動的判定可藉由多種實體中之任 一者進行，諸如雷達系統或基於雷達之應用程式。
在一些實施中，當真實物件之影像不再呈現於顯示器上時，觸摸輸入控制維持在固定位置處。舉例而言，假定觸摸輸入控制運用AR元件呈現於顯示器之特定角落中，同時相關真實物件在電子裝置之顯示器中可見，且使用者接近顯示器。若出於一些原因，真實物件之影像停止呈現於顯示器上(例如，因為使用者在接近觸摸輸入控制的同時未保持真實物件處於框內)，則觸摸輸入控制可繼續維持於顯示器之特定角落(或在另一位置)中，從而使得使用者可與觸摸輸入控制互動。
舉例而言，考慮圖12，其說明描述方法1000之額外細節的實例環境1200。在圖12之細節視圖1200-1中，實例環境1200說明電子裝置(在此狀況下，智慧型手機102)，其包括提供雷達視野110(圖中未示)之雷達系統104。細節視圖1200-1展示一隻手(例如，左手1202)拿著智慧型手機的使用者已使真實物件120-1處於在智慧型手機102-1上運行的基於雷達之應用程式106之AR介面的框內。如所示，基於雷達之應用程式106正在將真實物件120-1之影像(例如，影像120-2)呈現於顯示器108上(影像120-2用虛線箭頭展示)。基於雷達之應用程式106亦在顯示器108之角落附近的位置處呈現AR元件116，包括觸摸輸入控制118。
在細節視圖1200-2中，使用者已開始用另一隻手(例如，右手1204)接近觸摸輸入控制118，如藉由陰影箭頭1206所示。假定已判定使用者接近智慧型手機102(例如，基於雷達之應用程式106或另一實體已使用雷達資料判定右手1204接近智慧型手機102)。在用右手1204接近觸摸輸入控制118的同時，使用者亦移動智慧型手機102，使得真實物件120-1之影像120-2不再經由顯示器108可見。該移動由點線箭頭1208說 明。使用所描述之技術，基於雷達之應用程式106仍將AR元件116及觸摸輸入控制118維持在顯示器108之角落附近的大致相同位置。
在細節視圖1200-3中，假定使用者已啟動觸摸輸入控制118(例如，經由使用右手1204之觸摸輸入)。作為回應，基於雷達之應用程式106呈現2D介面1210，其展示真實物件120-1(圖中未示)之另一影像120-2，以及可向使用者提供關於真實物件120-1之資訊的額外觸摸輸入控制1212。
在一些實施中，若在固定位置處提供的觸摸輸入控制118未在來自雷達視野中之物件正向著顯示器108移動的判定的臨限時間內被觸摸，則觸摸輸入控制可停止提供於固定位置處。臨限時間可為多種時間，諸如1.5秒(s)、2s或3s，且可經預設定或為使用者可選擇的。在又其他實施中，基於雷達之應用程式106可僅在判定使用者手正以超過臨限速度之速度向著顯示器108移動時在固定位置處提供觸摸輸入控制。臨限速度可為任何適當速度，諸如0.25呎/秒(fps)、0.5fps或0.75fps。
實例計算系統
圖13說明可實施為如參考先前圖1至圖12所描述以實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的任何類型之用戶端、伺服器及/或電子裝置的實例計算系統1300之各種組件。
計算系統1300包括實現裝置資料1304之有線及/或無線通信的通信裝置1302(例如，雷達資料、3D手勢資料、鑑認資料、參考資料、所接收資料、正在接收之資料、經排程用於廣播之資料、資料之資料封包)。裝置資料1304或其他裝置內容可包括裝置之組態設定、儲存於裝 置上之媒體內容，及/或與裝置之使用者相關聯的資訊(例如，雷達視野內的個人之身分標識)。儲存於計算系統1300上之媒體內容可包括任何類型的雷達、生物辨識、音訊、視訊及/或影像資料。計算系統1300包括一或多個資料輸入1306，可經由該等資料輸入接收任何類型之資料、媒體內容及/或輸入，諸如人類話語、與雷達視野之互動、觸摸輸入、使用者可選輸入(顯式或隱式)、訊息、音樂、電視媒體內容、記錄視訊內容、及自任何內容及/或資料源接收到之任何其他類型之音訊、視訊及/或影像資料。
計算系統1300亦包括通信介面1308，該通信介面可實施為串聯及/或並行介面、無線介面、任何類型之網路介面、數據機及任何其他類型之通信介面中的任何一或多者。通信介面1308提供計算系統1300與通信網路之間的連接及/或通信鏈路，其他電子、計算及通信裝置藉由該通信網路與計算系統1300傳送資料。
計算系統1300包括一或多個處理器1310(例如，微處理器、控制器或其他控制器中之任一者)，其可處理各種電腦可執行指令以控制計算系統1300之操作且實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的技術，或其中可進行實施該基於智慧型手機之雷達系統。替代或另外地，計算系統1300可藉由結合處理及控制電路實施的硬體、韌體或固定邏輯電路中之任一者或組合來實施，其一般在1312進行識別。儘管圖中未示，計算系統1300可包括耦接裝置內的各種組件之系統匯流排或資料傳送系統。系統匯流排可包括不同匯流排結構中之任一者或組合，諸如記憶體匯流排或記憶體控制器、外圍匯流排、通用串列匯流排、及/或利用多種匯流排架構中之任 一者的處理器或局部匯流排。
計算系統1300亦包括電腦可讀媒體1314，諸如實現持久性及/或非暫時性資料儲存(亦即，相比於純信號傳輸)之一或多個記憶體裝置，該等記憶體裝置之實例包括隨機存取記憶體(RAM)、非揮發性記憶體(例如，唯讀記憶體(ROM)、快閃記憶體、EPROM、EEPROM等中之任何一或多者)及磁盤儲存裝置。磁盤儲存裝置可實施為任何類型之磁性或光學儲存裝置，諸如硬碟驅動機、可記錄及/或可重寫緊密光碟(CD)、任何類型之數位多功能光碟(DVD)及其類似者。計算系統1300亦可包括大量儲存媒體裝置(儲存媒體)1316。
電腦可讀媒體1314提供用以儲存裝置資料1304之資料儲存機制，以及各種裝置應用程式1318及與計算系統1300之可操作態樣相關的任何其他類型的資訊及/或資料。舉例而言，作業系統1320可運用電腦可讀媒體1314維持為電腦應用程式且在處理器1310上加以執行。裝置應用程式1318可包括裝置管理器，諸如控制應用程式、軟體應用程式、信號處理與控制模組、特定裝置本機之程式碼、提取模組、手勢辨識模組及其他模組之任何形式。裝置應用程式1318亦可包括用以實施促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的系統組件、引擎或管理器，諸如雷達系統104、基於雷達之應用程式106或基於雷達之應用程式702(包括3D手勢模組708)。計算系統1300亦可包括或能夠存取一或多個機器學習系統。
結論
儘管已使用特定於特徵及/或方法之語言描述用於實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型 手機之雷達系統的技術及設備之實施，但應理解，隨附申請專利範圍之主體不必受限於特定特徵或所描述方法。實情為，特定特徵及方法經揭示作為實現促進使用者與擴增實境介面中之顯示物件互動之簡易性及準確性的基於智慧型手機之雷達系統的實例實施。
100:實例環境
102:智慧型手機
104:雷達系統
106:基於雷達之應用程式
108:顯示器
110:雷達視野
112:物件
114:陰影箭頭
116:擴增實境(AR)元件
118:觸摸輸入控制
120-1:真實物件
120-2:影像

Claims (27)

  1. 一種智慧型手機，其包含：一顯示器；至少部分實施於硬體中之一雷達系統，其經組態以：提供一雷達視野；感測來自該雷達視野中之一物件的反射；分析來自該雷達視野中之該物件的該等反射；及基於該等反射之該分析提供雷達資料；一或多個電腦處理器；及其上儲存有指令之一或多個電腦可讀媒體，該等指令回應於藉由該一或多個電腦處理器實行，實施一基於雷達之應用程式，該基於雷達之應用程式經組態以：經由該智慧型手機之該顯示器呈現一擴增實境(AR)元件，該AR元件包括一觸摸輸入控制且與一真實物件相關，該真實物件之一影像呈現於該顯示器上；及回應於基於該雷達資料進行的該雷達視野中之該物件正向著該顯示器移動的一判定，將該觸摸輸入控制維持在該智慧型手機之該顯示器上的一固定位置處。
  2. 如請求項1之智慧型手機，其中該雷達視野中之該物件為一使用者，且由此藉由甚至在該真實物件之該影像正於該顯示器上不穩定地移動時將該觸摸輸入控制維持在該固定位置處，來促進該使用者與該觸摸輸入控制 之互動的簡易性及準確性。
  3. 如請求項2之智慧型手機，其中該基於雷達之應用程式經進一步組態以在該使用者用一第一隻手固定該智慧型手機時呈現包括該觸摸輸入控制之該擴增實境(AR)元件。
  4. 如請求項3之智慧型手機，其中：該雷達視野中之該物件正向著該顯示器移動的該判定包含判定該使用者用一第二隻手接近該智慧型手機；該智慧型手機經定位使得該真實物件之該影像不再呈現於該顯示器上；及該基於雷達之應用程式經進一步組態以將該AR元件及該觸摸輸入控制維持在該顯示器上的大致相同於在該使用者移動該智慧型手機之前所呈現的位置，使得該真實物件之該影像不再呈現於該顯示器上。
  5. 如請求項4之智慧型手機，其中：該觸摸輸入控制已藉由該第二隻手經由一先前觸摸輸入啟動；該基於雷達之應用程式經進一步組態以回應於該觸摸輸入控制之該啟動將一二維(2D)介面呈現於該顯示器上，該二維介面包括：該真實物件之另一影像；及另一觸摸輸入控制，其向該使用者提供關於該真實物件之資訊。
  6. 如請求項1之智慧型手機，其中該基於雷達之應用程式經進一步組態 以在該真實物件之該影像不再呈現於該顯示器上時維持該觸摸輸入控制之該固定位置。
  7. 如請求項1之智慧型手機，其中該基於雷達之應用程式經進一步組態以回應於該固定位置處的該觸摸輸入控制在一臨限時間內未被觸摸而停止在該固定位置提供該觸摸輸入控制。
  8. 如請求項1之智慧型手機，其中該基於雷達之應用程式經進一步組態以在該雷達視野中之該物件以超過一臨限速度之一速度向著該顯示器移動的情況下在該固定位置處提供該觸摸輸入控制。
  9. 如請求項1之智慧型手機，其中該智慧型手機包括一影像俘獲裝置，且該基於雷達之應用程式經由該影像俘獲裝置即時或近乎即時地呈現該真實物件之該影像。
  10. 如請求項1之智慧型手機，其中該雷達系統經進一步組態以基於該雷達資料判定該雷達視野中之該物件正向著該顯示器移動。
  11. 如請求項1之智慧型手機，其中該基於雷達之應用程式經進一步組態以基於該雷達資料判定該雷達視野中之該物件正向著該顯示器移動。
  12. 如請求項1之智慧型手機，其中該雷達視野中之該物件為一使用者之一身體部分。
  13. 一種電子系統，其包含：一電子裝置，其包括一顯示器；至少部分實施於硬體中之一雷達系統，其經組態以：提供一雷達視野；感測來自該雷達視野中之一物件的反射；分析來自該雷達視野中之該物件的該等反射；及基於該等反射之該分析提供雷達資料；一或多個電腦處理器；及其上儲存有指令之一或多個電腦可讀媒體，該等指令回應於藉由該一或多個電腦處理器實行，實施一基於雷達之應用程式，該基於雷達之應用程式經組態以：經由該電子裝置之該顯示器呈現一擴增實境(AR)元件；接收經由該電子裝置之該顯示器作出之一觸摸輸入，該觸摸輸入有效選擇該AR元件；基於該雷達資料判定藉由該雷達視野中之該物件的一手勢；及執行與該所選擇AR元件相關之一動作，該動作對應於該經判定手勢。
  14. 如請求項13之電子系統，其中該經判定手勢為一三維(3D)手勢。
  15. 如請求項13之電子系統，其中該物件為該使用者之一身體部分。
  16. 如請求項13之電子系統，其中該經判定手勢包含改變該物件與該雷達系統之間的一距離。
  17. 如請求項16之電子系統，其中：對應於作為該物件與該雷達系統之間的一增大之距離的該經改變距離的該動作為該所選擇AR元件更接近該使用者的一移動；且對應於作為該物件與該雷達系統之間的一減小之距離的該經改變距離的該動作為該所選擇AR元件遠離該使用者的一移動。
  18. 如請求項17之電子系統，其中：該所選擇AR元件更接近該使用者的該移動與該增大之距離成比例；及該所選擇AR元件遠離該使用者的該移動與該減小之距離成比例。
  19. 如請求項13之電子系統，其中該經判定手勢包含改變該物件相對於該雷達系統之一方位，同時在該物件與該電子裝置之該顯示器之一平面之間維持一實質上類似距離。
  20. 如請求項19之電子系統，其中：對應於在一第一方向中改變該方位的該動作為該所選擇AR元件圍繞該所選擇AR元件之一軸在一第一旋轉方向上的一旋轉；且對應於在一第二方向上改變該方位的該動作為該所選擇AR元件圍繞該軸在一第二旋轉方向上的一旋轉。
  21. 如請求項13之電子系統，其中該雷達系統進一步包含一數位波束成形器及一角度估計器，且該雷達系統經組態以監視一視野中的介於大致-90度與大致90度之間的角度。
  22. 一種實施於一電子裝置中之方法，該電子裝置包括一顯示器、一雷達系統及一基於雷達之應用程式，該方法包含：藉由該雷達系統提供一雷達視野；藉由該雷達系統感測來自該雷達視野中之一物件的反射；分析來自該雷達視野中之該物件的該等反射；基於該等反射之該分析提供雷達資料；藉由該基於雷達之應用程式經由該電子裝置之該顯示器呈現一擴增實境(AR)元件，該AR元件包括一觸摸輸入控制且與一真實物件相關，該真實物件之一影像呈現於該顯示器上；及回應於基於該雷達資料進行的該雷達視野中之該物件正向著該顯示器移動的一判定，將該觸摸輸入控制維持在該顯示器上的一固定位置處。
  23. 如請求項22之方法，其中基於該雷達資料進行的該雷達視野中之該物件正向著該顯示器移動的該判定係藉由該雷達系統或藉由該基於雷達之應用程式做出。
  24. 如請求項22之方法，其中該電子裝置為一手持型裝置，該雷達視野中之該物件為一使用者，且該方法進一步包含： 甚至在該真實物件之該影像正於該顯示器上不穩定地移動時將該觸摸輸入控制維持在該固定位置處，由此促進該使用者與該觸摸輸入控制之互動的簡易性及準確性。
  25. 如請求項24之方法，其進一步包含：藉由該基於雷達之應用程式在該使用者用一第一隻手固定該電子裝置時呈現包括該觸摸輸入控制之該擴增實境(AR)元件。
  26. 如請求項25之方法，其中：該雷達視野中之該物件正向著該顯示器移動的該判定包含判定該使用者用一第二隻手接近該電子裝置；該電子裝置經定位使得該真實物件之該影像不再呈現於該顯示器上；且該方法進一步包含：藉由該基於雷達之應用程式將該AR元件及該觸摸輸入控制維持在該顯示器上的大致相同於在該使用者移動該電子裝置之前所呈現的位置，使得該真實物件之該影像不再呈現於該顯示器上。
  27. 如請求項26之方法，其中該觸摸輸入控制已藉由該第二隻手經由一先前觸摸輸入啟動，且該方法進一步包含：回應於該觸摸輸入控制之該啟動，藉由該基於雷達之應用程式將一二維(2D)使用者介面呈現於該顯示器上，該2D使用者介面包括：該真實物件之另一影像；及另一觸摸輸入控制，其向該使用者提供關於該真實物件之資訊。
TW108123712A 2018-08-24 2019-07-05 智慧型手機、電子系統及實施於電子裝置中之方法 TWI738022B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/112,130 US10698603B2 (en) 2018-08-24 2018-08-24 Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US16/112,130 2018-08-24

Publications (2)

Publication Number Publication Date
TW202009650A TW202009650A (zh) 2020-03-01
TWI738022B true TWI738022B (zh) 2021-09-01

Family

ID=67660474

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123712A TWI738022B (zh) 2018-08-24 2019-07-05 智慧型手機、電子系統及實施於電子裝置中之方法

Country Status (7)

Country Link
US (3) US10698603B2 (zh)
EP (2) EP3673346B1 (zh)
JP (4) JP6851547B2 (zh)
KR (3) KR102318342B1 (zh)
CN (3) CN111149079B (zh)
TW (1) TWI738022B (zh)
WO (1) WO2020040966A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017131114A1 (de) * 2017-12-22 2019-06-27 S.M.S, Smart Microwave Sensors Gmbh Verfahren und Vorrichtung zum Bestimmen wenigstens eines Parameters eines Objektes
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11494051B1 (en) * 2018-11-01 2022-11-08 Intuit, Inc. Image template-based AR form experiences
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11082535B2 (en) * 2018-12-20 2021-08-03 Here Global B.V. Location enabled augmented reality (AR) system and method for interoperability of AR applications
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
FR3102623A1 (fr) * 2019-10-24 2021-04-30 Orange Procédé de validation d’une transaction lors d’une communication radio
WO2021175439A1 (en) * 2020-03-06 2021-09-10 Sandvik Ltd Computer enhanced maintenance system
US20210405179A1 (en) * 2020-06-25 2021-12-30 Lassen Peak, Inc. Systems and Methods for Noninvasive Detection of Impermissible Objects
JP2023532794A (ja) 2020-07-10 2023-07-31 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ユーザ機器からの視覚フィードバック
KR20220009207A (ko) 2020-07-15 2022-01-24 삼성전기주식회사 고주파 모듈을 포함하는 전자 기기
EP3944107A1 (en) 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
TWI760808B (zh) * 2020-08-04 2022-04-11 何忠誠 雷達距離探測裝置與方法
KR102322817B1 (ko) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
KR20220080399A (ko) * 2020-12-07 2022-06-14 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
CN112904999A (zh) * 2020-12-30 2021-06-04 江苏奥格视特信息科技有限公司 一种基于激光雷达的增强现实体感交互方法及系统
US11982734B2 (en) 2021-01-06 2024-05-14 Lassen Peak, Inc. Systems and methods for multi-unit collaboration for noninvasive detection of concealed impermissible objects
US12000924B2 (en) 2021-01-06 2024-06-04 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects
US11474232B2 (en) 2021-03-19 2022-10-18 KaiKuTek Inc. Range doppler angle detection method and range doppler angle detection device
TWI756122B (zh) * 2021-04-30 2022-02-21 開酷科技股份有限公司 距離都卜勒雷達角度感測方法及裝置
US20230096207A1 (en) * 2021-09-29 2023-03-30 The Adt Security Corporation Gesture based interface for a premises security system
CN113918015B (zh) * 2021-10-08 2024-04-19 三星电子（中国）研发中心 一种增强现实的交互方法和装置
TWI804072B (zh) * 2021-11-26 2023-06-01 國立陽明交通大學 使用毫米波雷達的即時物件運動狀態辨識方法
WO2024057375A1 (ja) * 2022-09-13 2024-03-21 三菱電機株式会社 機械学習による位置推定部を備える操作パネル装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
TW201432495A (zh) * 2012-12-18 2014-08-16 Qualcomm Inc 用於擴充實境啓用裝置之使用者介面
US20150187137A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
TW201606572A (zh) * 2014-03-28 2016-02-16 英特爾股份有限公司 以雷達為基礎的手勢辨識
CN107077169A (zh) * 2014-11-14 2017-08-18 高通股份有限公司 扩增现实中的空间交互

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JPH11338120A (ja) * 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US7511630B2 (en) 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US8062126B2 (en) 2004-01-16 2011-11-22 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US7199749B2 (en) 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
TW200731743A (en) 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
KR100984230B1 (ko) 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
JP5134409B2 (ja) 2008-03-27 2013-01-30 日本写真印刷株式会社 プレゼンテーションシステム
US20090322690A1 (en) 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
WO2010096546A1 (en) 2009-02-18 2010-08-26 MBTE Holdings Sweden AB Telephone call scheduling and initiation system
US7924212B2 (en) 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
KR20110101585A (ko) 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) * 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) * 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
WO2013058820A1 (en) 2011-10-21 2013-04-25 Nest Labs, Inc. User-friendly, network connected learning thermostat and related systems and methods
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) * 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
EP2575006B1 (en) 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
US20130120458A1 (en) 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
JP2013125328A (ja) * 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
KR101371547B1 (ko) 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
CN103383607B (zh) * 2012-05-02 2017-03-01 国际商业机器公司 用于对触摸屏设备中的所显示内容进行钻取的方法和系统
US9494973B2 (en) 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
EP4006700A1 (en) 2013-01-08 2022-06-01 BlackBerry Limited On-demand user control
US20150370443A1 (en) * 2013-02-12 2015-12-24 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
EP2994808A4 (en) 2013-05-08 2017-02-15 Geva, Ran Motion-based message display
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
JP6417104B2 (ja) 2014-04-16 2018-10-31 株式会社日立システムズ テキスト編集装置、テキスト編集方法、及びプログラム
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) * 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9497592B2 (en) 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
JP2016035625A (ja) 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016032806A1 (en) 2014-08-26 2016-03-03 Apple Inc. User interface for limiting notifications and alerts
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ｉｈｉエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
JP6427279B2 (ja) * 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
US10139916B2 (en) * 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
WO2017018388A1 (ja) 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
JP6515028B2 (ja) * 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10613213B2 (en) 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
WO2018013564A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining gesture and voice user interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
KR101847295B1 (ko) * 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10845477B2 (en) 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
WO2019056393A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
TW201432495A (zh) * 2012-12-18 2014-08-16 Qualcomm Inc 用於擴充實境啓用裝置之使用者介面
US20150187137A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
TW201606572A (zh) * 2014-03-28 2016-02-16 英特爾股份有限公司 以雷達為基礎的手勢辨識
CN107077169A (zh) * 2014-11-14 2017-08-18 高通股份有限公司 扩增现实中的空间交互

Also Published As

Publication number Publication date
EP3673346B1 (en) 2021-10-06
EP3673346A1 (en) 2020-07-01
US20200285383A1 (en) 2020-09-10
KR102184107B1 (ko) 2020-11-27
JP2021504771A (ja) 2021-02-15
US20210132788A1 (en) 2021-05-06
CN111149079B (zh) 2021-04-02
JP6851547B2 (ja) 2021-03-31
CN113220115A (zh) 2021-08-06
US10698603B2 (en) 2020-06-30
JP2022119986A (ja) 2022-08-17
JP7296415B2 (ja) 2023-06-22
JP2021099857A (ja) 2021-07-01
KR102318342B1 (ko) 2021-10-27
US10936185B2 (en) 2021-03-02
KR20200133832A (ko) 2020-11-30
CN111149079A (zh) 2020-05-12
TW202009650A (zh) 2020-03-01
JP6861311B2 (ja) 2021-04-21
KR20200055157A (ko) 2020-05-20
US11204694B2 (en) 2021-12-21
JP2020173817A (ja) 2020-10-22
CN111766943A (zh) 2020-10-13
WO2020040966A1 (en) 2020-02-27
KR102318343B1 (ko) 2021-10-27
KR20200036944A (ko) 2020-04-07
US20200064996A1 (en) 2020-02-27
EP3722928A1 (en) 2020-10-14
JP7340656B2 (ja) 2023-09-07

Similar Documents

Publication Publication Date Title
TWI738022B (zh) 智慧型手機、電子系統及實施於電子裝置中之方法
EP3750034B1 (en) Smartphone-based radar system for determining user intention in a lower-power mode
JP7270070B2 (ja) モバイルデバイスのための入力方法
CN111512276B (zh) 用于基于雷达的应用的雷达图像整形器
WO2020040968A1 (en) Smartphone, system and method comprising a radar system
WO2021040749A1 (en) Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040747A1 (en) Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
CN113874812A (zh) 用于多输入模式的输入模式通知