JP7296415B2 - レーダーシステムを備えるスマートフォン、システムおよび方法 - Google Patents

レーダーシステムを備えるスマートフォン、システムおよび方法 Download PDF

Info

Publication number
JP7296415B2
JP7296415B2 JP2021037423A JP2021037423A JP7296415B2 JP 7296415 B2 JP7296415 B2 JP 7296415B2 JP 2021037423 A JP2021037423 A JP 2021037423A JP 2021037423 A JP2021037423 A JP 2021037423A JP 7296415 B2 JP7296415 B2 JP 7296415B2
Authority
JP
Japan
Prior art keywords
radar
touch input
gesture
smartphone
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021037423A
Other languages
English (en)
Other versions
JP2021099857A (ja
Inventor
ジュスティ,レオナルド
プピレフ,アイバン
アミフッド,パトリック・エム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2021099857A publication Critical patent/JP2021099857A/ja
Priority to JP2022091665A priority Critical patent/JP7340656B2/ja
Application granted granted Critical
Publication of JP7296415B2 publication Critical patent/JP7296415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • G01S13/424Stacked beam radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • G01S13/426Scanning radar, e.g. 3D radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • G01S7/2883Coherent receivers using FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/356Receivers involving particularities of FFT processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Description

背景
通信、ナビゲーション、買い物、ゲームプレー、拡張現実(AR)インタラクション、および他の多くの機能のために、スマートフォンなどの電子デバイスが用いられる。ユーザは、タッチ入力で電子デバイス上のアプリケーションとインタラクトすることが典型的である。これらのアプリケーションが提供可能な機能は広範囲にわたるため、多段階、または他の態様では複雑な入力をユーザが提供する必要がますます一般的になってきている。ジェスチャ認識技術は、ジェスチャがタッチスクリーンおよびタッチパッドなどのデバイスの表面を通して行われる場合、電子デバイスとのより複雑でないジェスチャインタラクションを可能にしている。しかしながら、タッチ入力インターフェースでさらに複雑な入力を提供するための電子デバイスとのインタラクションは、不便で、効果的でなく、不愉快なことがある。
AR環境は特に、ユーザに難題をもたらすことがある。2次元(2D)タッチスクリーンを用いた3次元(3D)オブジェクトの操作は難しいことがある。たとえば、特定のリアルオブジェクトに関する3DのARオブジェクトを操作するために、ユーザは、2Dタッチスクリーンを介してARオブジェクトとインタラクトするために一方の手を用いつつ、電子デバイスを安定した状態に保つために、他方の手を用いなければならない(そのため、ARオブジェクトはディスプレイ内でフレーム化されたままである)。これは、不満、不快、および不正確または不完全な入力につながることがある。ユーザはそれゆえ、タッチ入力方法に限界があるために、電子デバイスの全潜在能力を実現できない場合がある。
概要
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術ならびにシステムについて説明する。これらの技術およびシステムは、レーダーフィールドを用いて、スマートフォンなどの電子デバイスのディスプレイに呈示される拡張現実(AR)オブジェクトとインタラクトするために使用可能な3次元(3D)ジェスチャを正確に求める。これらの技術によって、ユーザは、遠くから3Dジェスチャを行うことが可能になる、つまり、ユーザは、スクリーンをタッチしながら電子デバイスを安定して保持する必要がなく、ジェスチャは、ディスプレイに呈示されるARオブジェクトのユーザの視点を遮ることはない。
以下で説明される態様は、ディスプレイと、レーダーシステムと、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータ可読媒体とを備えるスマートフォンを含む。レーダーシステムは、ハードウェアで少なくとも部分的に実現され、レーダーフィールドを提供する。レーダーシステムはまた、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析する。レーダーシステムはさらに、反射の分析に基づいてレーダーデータを提供する。1つ以上のコンピュータ可読媒体は、レーダーベースアプリケーションを実現するために1つ以上のコンピュータプロセッサによって実行可能な、記憶された命令を含む。レーダーベースアプリケーションは、スマートフォンのディスプレイを通して拡張現実(AR)要素を呈示する。AR要素は、タッチ入力コントローラを含み、リアルオブジェクトに関連する。リアルオブジェクトの画像が、スマートフォンのディスプレイに呈示される。レーダーデータに基づく、
レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、レーダーベースアプリケーションは、ディスプレイの固定場所にタッチ入力コントローラを維持する。
また、以下で説明される態様は、ディスプレイを含む電子デバイスと、レーダーシステムと、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータ可読媒体とを備えるシステムを提供する。レーダーシステムは、ハードウェアで少なくとも部分的に実現され、レーダーフィールドを提供する。レーダーシステムは、第1の時間に、レーダーフィールド内のオブジェクトからの反射を検知する。また、レーダーシステムは、レーダーフィールド内のオブジェクトからの反射を分析し、反射の分析に基づいて、レーダーデータを提供する。1つ以上のコンピュータ可読媒体は、レーダーベースアプリケーションを実現するために1つ以上のコンピュータプロセッサによって実行可能な、記憶された命令を備える。レーダーベースアプリケーションは、電子デバイスのディスプレイを通して拡張現実(AR)要素を呈示する。また、レーダーベースアプリケーションは、第1の時間よりも後の第2の時間に、AR要素を選択する入力を受信する。さらに、レーダーベースアプリケーションは、レーダーデータに基づいて、レーダーフィールド内のオブジェクトによるジェスチャを判断し、選択されたAR要素に関連するアクションを行う。行われたアクションは、判断されたジェスチャに対応する。
また、以下で説明される態様は、ディスプレイ、レーダーシステム、およびレーダーベースアプリケーションを含む電子デバイスで実現される方法を含む。方法は、レーダーシステムが、レーダーフィールドを提供することと、レーダーシステムが、レーダーフィールド内のオブジェクトからの反射を検知することとを備える。方法はまた、レーダーフィールド内のオブジェクトからの反射を分析することと、反射の分析に基づいて、レーダーシステムがレーダーデータを提供することとを備える。方法はまた、レーダーベースアプリケーションが、拡張現実(AR)要素を、電子デバイスのディスプレイを通して呈示することを備える。AR要素は、タッチ入力コントローラを含み、かつ、リアルオブジェクトに関連し、リアルオブジェクトの画像がディスプレイに呈示される。レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラは、ディスプレイ上の固定場所に維持される。
また、以下で説明される態様は、電子デバイスと、レーダーフィールドを提供し、かつ、レーダーフィールド内のオブジェクトが電子デバイスに向かって移動していると判断するための手段とを備えるシステムを含む。システムは、電子デバイスのディスプレイを通して、拡張現実(AR)要素を呈示する。AR要素は、タッチ入力コントローラを含み、リアルオブジェクトに関連し、リアルオブジェクトの画像が電子デバイスのディスプレイに呈示される。システムはさらに、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、電子デバイスのディスプレイ上の固定場所にタッチ入力コントローラを維持するための手段を備える。
この概要は、レーダーシステムを備えるスマートフォン、システム、および方法に関する簡潔な概念を導入するために提供され、詳細な説明および図面において以下でさらに説明される。この概要は、クレームに記載された対象の実質的な特徴を特定するために使用されるものでもなければ、クレームに記載された対象の範囲を決定する際に使用されることを意図されたものでもない。
レーダーシステムを備えるスマートフォン、システム、および方法の1つ以上の態様が、以下の図面を参照して本明細書において詳細に説明される。図面を通して、同じ番号は、同様の特徴及び構成要素を参照するために使用される。
レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の例を示す図である。 レーダーシステムを備え、レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な、図1のスマートフォンの実現例を示す図である。 図2のレーダーシステムの実現例を示す図である。 図3のレーダーシステムのための受信アンテナ要素の配置例を示す図である。 図2のレーダーシステムの実現例の追加的な詳細を示す図である。 図2のレーダーシステムによって実現可能な方式の例を示す図である。 レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の他の例を示す図である。 図7のレーダーシステムの実現例を示す図であり、3次元(3D)ジェスチャを用いて、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするレーダーシステムの能力に関する追加な詳細を説明する図である。 図7のレーダーシステムの他の実現例を示す図であり、3次元(3D)ジェスチャを用いて、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするレーダーシステムの能力に関する追加的な詳細を説明する図である。 レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の例を示す図である。 レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の他の例を示す図である。 図10および図11の方法の追加的な詳細を示す図である。 レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な、または、これらを可能にする技術が実現され得るコンピューティングシステムの例を示す図である。
詳細な説明
概観
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術およびシステムについて説明する。説明されるように、2次元(2D)タッチスクリーンを用いて3次元(3D)オブジェクトを操作するのは困難なため、タッチ入力インターフェースを用いて拡張現実(AR)アプリケーションのための複雑な入力を行うことは難しいことがある。それゆえ、タッチ入力方法に限界があるために、ユーザは、ARアプリケーションの全潜在能力を実現できない場合がある。これらの技術およびシステムは、3次元(3D)ジェスチャ(たとえば、レーダーフィールドによって照射される3D空間内の任意の方向の1つ以上の移動を含むジェスチャ)を正確に判断するために、レーダーフィールドを用いる。3Dジェスチャは、拡張現実(AR)オブジェクトとインタラクトするために使用可能である。特定の文脈で他の態様で示されていない限り、高い精度は洗練の度合いが高いこと、真実により適合すること、または、洗練の度合いが高いことと真実により適合することとの両方を表す。これらの技術およびシステムは、電子デバイスに電子デバイスの周囲の3D空間において行われるジェスチャを認識させるためにレーダーフィールドを用いるため、ユーザは、スクリーンをタッチする必要がない、または、ディスプレイに呈示されるオブジェクトの視点を遮る必要もない。
これらの技術およびシステムは、電子デバイスに、AR環境における3Dジェスチャと2次元(2D)タッチ入力との両方を認識させることができる。ARコンテンツがリアルオブジェクトに関連していることがある。それゆえ、ユーザがAR可能なリアルオブジェ
クトを見るためにデバイスを回りに動かすと、ARコンテンツは、2Dタッチ入力コントローラとしてディスプレイに呈示され得る一方で、リアルオブジェクトはディスプレイにおいてフレーム化される。たとえば、家具店における観葉植物についてのARコンテンツは、製品情報と購入選択とを含み得る。上述の技術を有するレーダーフィールドを用いて、電子デバイスは、ユーザがディスプレイ上の2Dタッチ入力コントローラに向かっていると判断し、タッチ入力コントローラを特定の場所において2Dタッチスクリーンに固定またはロックすることができる。これによって、ユーザは、リアルオブジェクトがディスプレイにおいてフレーム化されなくなるように電子デバイスを移動させる場合であっても、コントローラとインタラクションが可能である。さらに、これらの技術およびシステムによって、デバイスは、3次元でARオブジェクトを操作するために使用可能な3Dジェスチャを判断可能である。それによって、これらの技術は、ユーザの視点を遮ることなく、3Dオブジェクトとインタラクトするための便利で自然な3Dジェスチャを可能にすることによってARアプリケーションを用いるときの、ユーザの効率、ワークフロー、および楽しみを改善する。
たとえば、買い物をするときに追加の機能を提供するARインターフェースを有するレーダーベースアプリケーションを含む電子デバイスを考える。たとえば、レーダーベースアプリケーションによって、ユーザは、リアルオブジェクトを店内で眺め、ユーザがリアルオブジェクトを仮想ショッピングカートに追加できる仮想値札またはリンクなどの、リアルオブジェクトと関連付けられたARオブジェクトを表示することができる。この例では、電子デバイスは、ARインターフェースを可能にするために複数のカメラを含み得る。従来のARインターフェースは、主に「発見」(たとえば、ARコンテンツを利用可能なものは何でも実環境の周囲でパンして表示する)のために構成されている。それゆえ、ユーザは、実環境においてデバイスを動かすことが可能になり、タッチによって起動された、スクリーンに表示されたリアルオブジェクトに関するARコンテンツが、表示されたリアルオブジェクト(たとえば、「カートに追加」ボタン)付近のスクリーンに呈示可能になる。しかしながら、従来のARインターフェースは、タッチスクリーン上のタッチインタラクションにとって便利でないことが典型的である。たとえば、ARコンテンツとインタラクトするために、ユーザは、一方の手をデバイスに向かって伸ばしつつ、他方の手でデバイスを安定させた状態に保持しようとしなければならない。これによってディスプレイのユーザの視点が遮られることがある、または、リアルオブジェクトが表示されなくなるように、ユーザはデバイスを動かさなければならないことがあり、このため、レーダーベースアプリケーションに、ARコンテンツの表示を停止させることがある。常に困難または不便なARインターフェースとのインタラクションによって、ユーザの効率、ジェスチャの効果、およびデバイスとアプリケーションとを用いたユーザの体験の質が低減することがある。
これらの従来技術を、いくつかの領域において効率および有用性を改善可能な、本明細書で説明されるシステムおよび技術と比較する。たとえば、上述の例では、ユーザは第1の手で実環境においてデバイスを動かしており、リアルオブジェクトに関連するタッチ起動されたARコンテンツが、表示されたリアルオブジェクト(たとえば、「カートに追加」ボタン)付近のスクリーンに呈示されている。この状況では、電子デバイスは、デバイスの周囲の領域(たとえば、デバイスの周囲の5または8フィート半径、ほとんどの場合、領域はユーザの他方の手を包含する「カメラの背後の」空間を含む)内に延在するレーダーフィールドを提供可能なレーダーシステムを備え得る。レーダーセンサーは、電子デバイスに向かって伸ばしているユーザの他方の手を検出するために、レーダーフィールドに入るオブジェクトから反射されたレーダー信号を用いることが可能である。このように手を伸ばしていることを検出すると、電子デバイスは、ユーザがデバイスを動かし続けている場合でもARコンテンツが移動または消失しないように、特定の場所でARコンテンツを固定可能である。
このように、説明される技術およびシステムによって、タッチベースARコンテンツとアプリケーションとのインタラクションが容易になり、便利になる。ユーザは、ARアプリケーションの発見特性を楽しむことが可能であり、依然として容易にタッチベースARコンテンツとインタラクション可能である。これによって、効率を改善可能であり、ARコンテンツにアクセスするためにオブジェクトをリフレームする必要があるといった、ユーザの不満を減らすことが可能であり、これによって、ユーザの体験の質が向上する。さらに、複数のカメラを使用して、ARインターフェースを提供し、ユーザが電子デバイスに向かっているかどうかを判断可能ないくつかの従来の技術と比較して、レーダーシステムの消費電力が大幅に少なくなり得る。
これらは、ユーザに3Dジェスチャと2Dジェスチャとの両方でARアプリケーションおよびオブジェクトとインタラクションさせるために、本明細書で説明されるこれらの技術およびデバイスを使用可能な態様のいくつかの例にすぎない。それらの他の例および実現について、本明細書で説明される。システム、装置、方法、および構成要素の例についての説明が行われた後で、本明細書は次に環境の例について説明する。
動作環境
図1は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の例100を示す図である。環境の例100は、レーダーシステム104、レーダーベースアプリケーション106、およびディスプレイ108を備える、またはこれらと関連付けられたスマートフォン102を含む。レーダーシステム104のいくつかの実施形態は、低電力の必要性、処理効率の必要性、アンテナ要素の間隔および配置における制限などの問題ならびに他の問題などが集まる、スマートフォン102などのスマートフォンの文脈において適用されると特に有利であり、特に、細かい手のジェスチャのレーダー検出が望まれるスマートフォンの文脈でさらに有利である。実施形態は、レーダーで検出された手のジェスチャを必要とするスマートフォンの上述の文脈で特に有利であるが、本発明の特徴および利点の適用可能性は必ずしもそのように限定されておらず、他の種類の電子デバイスを含む他の実施形態も本発明の教示の範囲内であることが認められるべきである。
環境の例100では、レーダーシステム104は、図3~図6を参照して以下で説明されるような1つ以上のレーダー信号および波形を送信することによって、レーダーフィールド110を提供する。レーダーフィールド110は、そこからレーダーシステム104がレーダー信号または波形(たとえば、空間の容積におけるオブジェクトで反射されたレーダー信号または波形)の反射を検出可能な空間の容積である。また、レーダーシステム104は、スマートフォン102に、レーダーフィールド110内のオブジェクト112からの反射の検出および分析を行わせることができる。オブジェクト112は、木材、プラスチック、金属、繊維、または人間の体の一部(たとえば、スマートフォン102のユーザの手)などからの反射の検知および分析を行うことができる、さまざまなオブジェクトのうちいずれかであり得る。図3~図6を参照して以下で説明されるように、レーダーシステム104は反射の分析に基づいて、レーダーフィールド110と関連付けられた様々な種類の情報およびオブジェクト112からの反射を含むレーダーデータを提供可能である(たとえば、レーダーシステム104は、レーダーベースアプリケーション106などの他のエンティティに、レーダーデータを渡すことが可能である)。さらに、レーダーデータに基づいて、レーダーシステム104、レーダーベースアプリケーション106、または他のエンティティは、レーダーフィールド110内のオブジェクト112が(網掛け矢印114によって示されるように)ディスプレイ108に向かって移動していると判断可能である。
なお、レーダーフィールド110内のオブジェクト112からの検出および分析された反射に基づいて、経時的に連続してまたは周期的にレーダーデータが提供され得る。オブジェクト112の位置は経時的に変化可能であり(たとえば、オブジェクト112は、レーダーフィールド110内で移動可能であり)、レーダーデータは、変化した位置、反射、および分析に応じて経時的に変化可能である。レーダーデータは経時的に変化し得るため、レーダーシステム104は、異なる期間に対応するレーダーデータの1つ以上のサブセットを含むレーダーデータを提供し得る。たとえば、レーダーシステム104は、第1の期間に対応するレーダーデータの第1のサブセットと、第2の期間に対応するレーダーデータの第2のサブセットなどを提供し得る。
また、レーダーベースアプリケーション106は、ディスプレイ108を通して拡張現実(AR)要素116を呈示可能である。AR要素116は、タッチ入力コントローラ118を含み、ディスプレイ108を通して見えるリアルオブジェクト120-1に関連する。タッチ入力コントローラ118は、タッチされると、リアルオブジェクト120-1についての追加的な詳細(たとえば、寸法、重量、または技術仕様)、リアルオブジェクト120-1を購入するためのリンク、またはリアルオブジェクト120-1に関連するアイテムのリストを提供し得る。図1に示すように、AR要素116は、タッチ入力コントローラ118を含む仮想値札である。このように、ユーザはAR要素116にタッチすることが可能であり、タッチ入力コントローラ118は、追加のARコンテンツを呈示する。
いくつかの実現例では、レーダーベースアプリケーション106は、ディスプレイ108に、リアルオブジェクト120-1の画像とリアルオブジェクト120-1に関連するAR要素116との両方を呈示可能なARアプリケーションでもよい。たとえば、図1に示すように、リアルオブジェクト120-1は、実環境において示される、およびディスプレイ108上の画像120-2として示される観葉植物である(画像120-2は、破線矢印で示される)。いくつかの実施形態では、レーダーベースアプリケーション106は、リアルタイム(または、ニアリアルタイム)でリアルオブジェクト120-1の画像120-2を呈示する。リアルタイムまたはニアリアルタイムでの表示は、たとえば、スマートフォン102と共に含まれる、またはこれとは隔離しているものと通信している1つ以上の撮像デバイスを介して実現されてもよい。
レーダーフィールド110内のオブジェ112がディスプレイ108に向かって移動しているという判断に応じて、レーダーベースアプリケーション106は、スマートフォン102のタッチスクリーン上の固定場所においてタッチ入力コントローラ118を提供可能である。いくつかの実施形態では、レーダーベースアプリケーション106は、リアルオブジェクト120-1の画像120-2そのものがディスプレイ108において見えなくなったときでも、タッチ入力コントローラ118の固定場所を維持可能である。さらに、レーダーベースアプリケーション106は、レーダーフィールド110内のオブジェクト112がディスプレイ108に向かって移動しているという判断の閾値時間内に固定場所においてタッチ入力コントローラ118がタッチされていないことに応じて、固定場所におけるタッチ入力コントローラの提供を停止し得る。たとえば、タッチ入力コントローラ118が閾値時間内にタッチされないことに基づいて、レーダーベースアプリケーション106はデフォルトモードに戻ってもよく、レーダーベースアプリケーション106は、タッチ入力コントローラ118の呈示を中止してもよい(たとえば、タッチ入力コントローラが消失する)、または、レーダーベースアプリケーション106は、固定場所ではなく、ディスプレイ108に呈示されているコンテンツに適切などの場所でも、タッチ入力コントローラ118の呈示を続けてもよい。閾値時間は、1.5秒(s)、2s、または3sなど、任意の適切な時間でもよい。さらに他の実現例では、レーダーベースアプリケーション106は、レーダーフィールド110内のオブジェクト112が閾値速度(た
とえば、0.25フィート/秒(fps)、0.5fps、または0.75fps)を超える速度でディスプレイ108に向かって移動していると判断されると、固定場所でタッチ入力コントローラを提供可能である。それゆえ、スマートフォン102は、レーダーシステム104およびレーダーベースアプリケーション106と連携して、ARアプリケーションのユーザに、効果的におよび便利にAR環境においてタッチ入力を使用させることができる。
たとえば、スマートフォン102は、AR特徴および機能を含むアプリケーションを備えると仮定する。AR機能のうち少なくとも一部にアクセスするために、ユーザは、さまざまなタッチ入力コントローラを起動するようにディスプレイ108に手を伸ばし、これにタッチする一方で、スマートフォン102のディスプレイ108においてリアルオブジェクトをフレーム化された状態に維持する。これは、ユーザにいくつか難題を提示することがある。なぜなら、ディスプレイ108に向かうことは、ディスプレイ108のユーザの視点を遮って、コントローラとのインタラクションを困難にすることがあるからである。また、一部のユーザは、いくつかのデバイス、とりわけ大きなまたは重いデバイスを安定して保持することが難しいことがある。さらに、リアルオブジェクトがフレーム化されなくなるようにユーザがスマートフォン102を移動させると、ARコントローラも表示されなくなる。対照的に、レーダーシステム104について考える。このレーダーシステム104は、レーダーシステム104(または、レーダーベースアプリケーション106などの他のエンティティ)に、ユーザがディスプレイ108に向かい絶え間なく自動的にディスプレ108上でコントローラをフリーズまたは固定する時を自動的に判断させるレーダーフィールド110を提供する。容易に明らかなように、レーダーシステム104は、ARインターフェースの使用を実質的にさらに容易に、およびさらに便利にすることができ、従来のARインターフェースを使用するデバイスと比較して、改良された体験を提供することができる。
より詳細に、(レーダーシステム104、レーダーベースアプリケーション106、およびディスプレイ108を含む)スマートフォン102の実現例200を示す図2を考える。図2のスマートフォン102は、携帯電話102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、コンピューティングめがね102-6、ゲーム機102-7、電子レンジ102-8、および自動車102-9を含む、レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な他のデバイスの例を含むが、これらに限定されないことが示されている。他の電子デバイスは、テレビ、娯楽システム、オーディオシステム、ドローン、トラックパッド、スケッチブック、ネットブック、電子書籍リーダー、家庭自動化および制御システム、ホームセキュリティーシステム、および他の家電も含み得る。なお、説明された技術を実現可能な電子デバイスは、ウェアラブルでも、ウェアラブルではないが携帯型でも、または比較的固定したもの(たとえば、デスクトップおよび機器)でもよい。
スマートフォン102の例示的な全横寸法は、たとえば、約8センチメートル×約15センチメートルでもよい。レーダーシステム104の例示的なフットプリントは、さらに制限されてもよく、たとえば、アンテナを含めて約4ミリメートル×6ミリメートルでもよい。レーダーシステム104の例示的な消費電力は、約2、3ミリワット(mW)~数mW(たとえば、約2mW~12mWの間)でもよい。電力および処理の制限と組み合わされたそのような空間が制限された実装(たとえば、カメラ、指紋センサ、ディスプレイ108など)におけるスマートフォン102の他の多くの所望の特徴に対応するのに必要な、レーダーシステム104についてのそのように制限されたフットプリントの必要条件は、レーダージェスチャ検出の精度および効力における妥協につながることがあるが、そのうち少なくとも一部は、本明細書の教示を考慮して克服可能である。
また、スマートフォン102は、1つ以上のコンピュータプロセッサ202および1つ以上のコンピュータ可読媒体204を含み、メモリ媒体および記憶媒体を含む。コンピュータ可読指令としてコンピュータ可読媒体204で実現されるアプリケーションおよび/またはオペレーティングシステム(図示せず)は、本明細書で説明される機能のうち一部を提供するために、コンピュータプロセッサ202によって実行可能である。また、スマートフォン102は、ネットワークインターフェースを含み得る。スマートフォン102は、有線、無線、または光ネットワークを利用してデータを伝達するために、ネットワークインターフェース206を使用可能である。限定的ではないが一例として、ネットワークインターフェース206は、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、パーソナルエリアネットワーク(PAN)、広域ネットワーク(WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを利用して、データを伝達可能である。
レーダーシステム104のさまざまな実現は、システムオンチップ(SoC)、1つ以上の集積回路(IC)、埋め込まれたプロセッサ指令を有するまたはメモリに記憶されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋め込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント基板、またはそれらの任意の組合せを含み得る。レーダーシステム104は、それ自体のレーダー信号の送受信によって、モノスタティックレーダーとして動作する。いくつかの実現例では、レーダーシステム104はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内の他のレーダーシステムと協調可能である。説明したように、スマートフォン102の制約または制限は、レーダーシステム104の設計に影響を与えることがある。スマートフォン102はたとえば、レーダーを動作するのに利用可能な制限された電力、制限された計算能力、サイズの制約、配置の制限、レーダー信号を減衰または歪ませる外側筐体などを有し得る。レーダーシステム104は、図3を参照して以下でさらに説明されるように、高度なレーダー機能および高性能がこれらの制約がある場合に実現可能になる複数の特徴を含む。なお、図2では、レーダーシステム104は、スマートフォン102の一部として示されている。他の実現例では、レーダーシステム104は、スマートフォン102とは別でもよい、またはこれと離れていてもよい。
これらおよび他の性能および構成、ならびに図1のエンティティが作動しインタラクトする方法が、以下でさらに詳細に説明される。これらのエンティティは、たとえば、さらに分割されても、組合わされてもよい。図1の環境100および図2~図12の詳細な図示は、説明された技術を用いることが可能な多くの可能性のある環境およびデバイスのうちの一部を示す。図3~図6は、レーダーシステム104の付加的な詳細および特徴を説明する図である。図3~図6において、レーダーシステム104は、スマートフォン102の文脈で説明されるが、上述のように、上述のシステムおよび技術の特徴および利点の適用可能性は必ずしもそのように制限されるわけではなく、他の種類の電子デバイスを含む他の実施形態も、本発明の教示の範囲内であり得る。
図3は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするために使用可能なレーダーシステム104の実現例300を示す図である。例300では、レーダーシステム104は、以下のコンポーネント、すなわち、通信インターフェース302、アンテナアレイ304、トランシーバ306、プロセッサ308、およびシステム媒体310(たとえば、1つ以上のコンピュータ可読記憶媒体)のうち各々のいずれか1つを含む。プロセッサ308は、デジタル信号プロセッサ、制御部、アプリケーションプロセッサ、他のプロセッサ(たとえば、スマートフォン102のコンピュータプロセ
ッサ202)、またはこれらの組合わせとして実現可能である。スマートフォン102のコンピュータ可読媒体204内に含まれ得る、またはこれとは別であり得るシステム媒体310は、以下のモジュール、すなわち、減衰ミティゲータ314、デジタルビームフォーマ316、角度推定器318、または電力マネージャ320のうち1つ以上を含む。これらのモジュールは、スマートフォン102内のレーダーシステム104の統合を補償可能、またはその効果を緩和可能であり、それによって、レーダーシステム104は、小さいまたは複雑なジェスチャの認識、ユーザの異なるオリエンテーションの区別、連続した外部環境の監視、または誤警報率の認識が可能である。これらの特徴によって、レーダーシステム104は、図2に示すデバイスのようなさまざまな異なるデバイス内で実現可能である。
通信インターフェース302を用いて、レーダーシステム104は、レーダーベースアプリケーション106にレーダーデータを提供可能である。通信インターフェース302は、スマートフォン102とは別に実現されている、またはこの内部で統合されているレーダーシステム104に基づく無線または有線インターフェースでもよい。用途によって、レーダーデータは、生のまたは最小限に処理されたデータ、同相直交(I/Q)データ、範囲ドップラーデータ、目標位置情報(たとえば、範囲、方位、高度)を含む処理データ、クラッタマップデータなどを含み得る。一般に、レーダーデータは、 レーダーシス
テムを備えるスマートフォン、システム、および方法を実現するためにレーダーベースアプリケーション106によって利用可能な情報を含む。
アンテナアレイ304は、少なくとも1つの送信アンテナ要素(図示せず)および(図4に示すような)少なくとも2つの受信アンテナ要素を含む。いくつかの例では、アンテナアレイ304は、一度に複数の別個の波形(たとえば、送信アンテナ要素ごとに異なる波形)を送信可能な多入力多出力(MIMO)レーダを実現するために、複数の送信アンテナを含み得る。複数の波形を用いることによって、レーダーシステム104の測定精度を増大し得る。受信アンテナ要素は、1次元形状(たとえば、線)または3つ以上の受信アンテナ要素を含む実現のために2次元形状で位置決めされ得る。1次元形状によって、レーダーシステム104は、1つの角度寸法(たとえば、方位または高度)を計測することができる一方で、2次元形状によって、2つの角度寸法を計測することができる(たとえば、方位と高度との両方)。受信アンテナ要素の2次元配置の例がさらに、図4に関して説明される。
図4は、受信アンテナ要素402の配置例400を示す図である。アンテナアレイ304が少なくとも4つの受信アンテナ要素402を含む場合、たとえば、受信アンテナ要素402は、図4の中間に示された方形配置404-1で配置可能である。代替的に、アンテナアレイ304が少なくとも3つの受信アンテナ要素402を含む場合、三角配置404-2またはL字形状配置404-3が用いられ得る。
スマートフォン102のサイズまたは配置の制約のため、受信アンテナ要素402間の要素の間隔または受信アンテナ要素402の量は、レーダーシステム104が監視する角度にとって理想的ではないことがある。特に、要素の間隔は、従来のレーダーが目標の角位置を推定するのを困難にする角度の曖昧さを生じる場合がある。そのため、従来のレーダーは、角度の曖昧さを有する曖昧なゾーンを避けて誤検出を減らすために、視野(たとえば、監視される角度)を制限し得る。たとえば、従来のレーダーは、5ミリメートル(mm)の波長と要素の3.5mm(たとえば、要素の間隔が波長の70%である)の間隔とを用いて、発生する角度の曖昧さを避けるために、視野を約-45°~45°の間の角度に制限してもよい。その結果、従来のレーダーは、視野の45°の制限を超える目標を検出することができない場合がある。対照的に、レーダーシステム104は、角度の曖昧さを解消し、かつ、レーダーシステム104に45°の制限を超える角度、たとえば約-
90°~90°、または最大で約-180°~180°の角度を監視させるデジタルビームフォーマ316と角度推定器318とを含む。これらの角度範囲は、1つ以上の方向(たとえば、方位および/または高度)にわたって適用可能である。したがって、レーダーシステム104は、レーダー信号の中央波長の半分よりも小さい、大きい、またはこれと等しい要素の間隔を含む、さまざまな異なるアンテナアレイ設計について低い誤警報率を実現可能である。
アンテナアレイ304を用いて、レーダーシステム104は、方向付けられたまたは方向付けられていない、広いもしくは狭い、または形成された(たとえば、半球、立方体、扇、円錐、または円柱)ビームを形成可能である。一例では、1つ以上の送信アンテナ要素(図示せず)は、方向付けられていない全方向放射パターンを有し得る、または、広域送信ビーム406などの広域ビームを生成し得る。これらの技術のいずれかによって、レーダーシステム104は、広い空間体積を照射できる。しかしながら、目標角度精度および角度分解能を得るために、受信アンテナ要素402およびデジタルビームフォーマ316は、狭域受信ビーム408などの数千の狭い方向付けられたビーム(たとえば、2000ビーム、4000ビーム、または6000ビーム)を生成するために使用可能である。このように、レーダーシステム104は、効率的に外部環境を監視することができ、正確に外部環境内の到達反射角度を求めることができる。
図3に戻って、トランシーバ306は、アンテナアレイ304を介してレーダー信号の送受信を行うための回路およびロジックを含む。トランシーバ306のコンポーネントは、レーダー信号を調整するための増幅器、周波数混合器、スイッチ、アナログデジタル変換器、フィルタなどを含み得る。また、トランシーバ306は、変調または復調などの同相直交位相(I/Q)演算を行うためにロジックを含み得る。トランシーバ306は、連続波レーダー演算またはパルスレーダー演算のために構成され得る。直線周波数変調、三角周波数変調、段階周波数変調、または位相変調などのさまざまな変調が、レーダー信号を生成するために使用可能である。
トランシーバ306は、1ギガヘルツ(GHz)~400GHz、4GHz~100GHz、または57GHz~63GHzといった、周波数範囲(たとえば、周波数スペクトル)内のレーダー信号を生成可能である。周波数スペクトルは、類似の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割できる。帯域幅は、約500メガヘルツ(MHz)、1GHz、2GHzなどでもよい。一例では、異なる周波数サブスペクトルは、約57GHz~59GHz、59GHz~61GHz、または61GHz~63GHzの周波数を含み得る。同じ帯域幅を有し隣接していてもよい、または隣接していなくてもよい複数の周波数サブスペクトルも、整合性を得るために選択可能である。複数の周波数サブスペクトルは、1つのレーダー信号または複数のレーダー信号を用いて時間内に同時に送信可能である、または分離可能である。隣接する周波数サブスペクトルによって、レーダー信号は広帯域幅を有することができる一方で、隣接しない周波数サブスペクトルはさらに、角度推定器318が角度の曖昧さを解消できるような振幅および位相の相違を強調することができる。図5および図6に関してさらに説明されるように、減衰ミティゲータ314または角度推定器318によって、レーダーシステム104の性能を改善するために、トランシーバ306に、1つ以上の周波数サブスペクトルを利用させることができる。
電力マネージャ320によって、レーダーシステム104は、スマートフォン102内で内部にまたは外部に電力を保存することができる。内部に、たとえば、電力マネージャ320は、レーダーシステム104に、所定の電力モードまたは特定のデューティサイクルを用いてデータを収集させる。電力マネージャ320は、低電力モードまたは高電力モードのいずれかで動作するのではなく、応答遅延および消費電力が環境内のアクティビテ
ィに基づいて一緒に管理されるように、異なる電力モード間で動的に切替える。一般に、電力マネージャ320は、電力がいつどのように保存されるかを決定し、徐々に消費電力を調節して、レーダーシステム104をスマートフォン102の電力制限内で操作させることができる。いくつかの例では、電力マネージャ320は、残っている利用可能な電力量を監視することができ、それに応じてレーダーシステム104の動作を調節することができる。たとえば、残りの電力量が少ない場合、電力マネージャ320は、より高い電力モードに切替えるのではなく、低電力モードで動作を続けることができる。
たとえば、低電力モードは、約数ヘルツ(たとえば、約1Hzまたは5Hz未満)の低デューティサイクルを使用可能であり、これによって、消費電力が数ミリワット(mW)(たとえば、約2mW~5mW)に低減する。一方、高電力モードは、約数十ヘルツ(Hz)(たとえば、約20Hzまたは10Hzより大きい)の高デューティサイクルを使用可能であり、これによって、レーダーシステム104は、約数ミリワット(たとえば、約8mW~20mW)の電力を消費する。低電力モードは外部環境の監視または接近するユーザの検出に使用可能である一方で、電力マネージャ320は、ユーザがジェスチャを行い始めているとレーダーシステム104が判断した場合、高電力モードに切替え可能である。異なるトリガによって、電力マネージャ320は、異なる電力モード間で切替え可能である。トリガの例としては、動きがあることまたはないこと、ユーザが現れることまたは消えること、ユーザが指定された領域(たとえば、範囲、方位、または高度によって規定される領域)内または外に移動すること、ユーザと関連付けられた動きの速度変化、または(たとえば、レーダー断面の変化による)反射信号強度の変化が挙げられる。一般に、スマートフォン102とインタラクトしているユーザのより低い確率またはより長い応答遅延を用いてデータを収集するプリファランスを示すトリガは、節電のためにより低い電力モードを起動させ得る。
電力マネージャ320は、非活動期間にトランシーバ306内の1つ以上のコンポーネント(たとえば、電圧によって制御される振動器、多重装置、アナログデジタル変換器、位相ロックループ、または水晶振動子)をオフにすることによって、節電することも可能である。レーダーシステム104がマイクロ秒(μs)、ミリ秒(ms)、または秒(s)オーダーのこともあるレーダー信号を活発に送信または受信していない場合、これらの非活動期間が発生する。さらに、電力マネージャ320は、節電のために、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御可能である。プロセッサ308が低電力プロセッサと高電力プロセッサ(たとえば、異なるメモリ量および計算能力を有するプロセッサ)とを含む場合、たとえば、電力マネージャ320は、低レベル分析(たとえば、検出動き、ユーザの位置の決定、または環境の監視)について低電力プロセッサの使用、高忠実度または正確なレーダーデータがレーダーベースアプリケーション106によって必要とされる状況について(たとえば、ジェスチャ認識またはユーザオリエンテーションについて)、高電力プロセッサの使用との間で切替えることができる。
上述の内部の節電技術に加えて、電力マネージャ320はまた、スマートフォン102内の他の外部コンポーネントまたはセンサを起動または停止することによって、スマートフォン102内での節電が可能である。これらの外部コンポーネントは、スピーカ、カメラセンサ、全地球測位システム、無線通信トランシーバ、ディスプレイ、ジャイロスコープ、または加速度計を含み得る。レーダーシステム104はわずかな電力量を用いて環境を監視することができるため、電力マネージャ320は、ユーザのいる場所またはユーザが行っている事に基づいて、これらの外部コンポーネントを適宜オフにすることができる。このように、スマートフォン102は、途切れることなくユーザに応答することが可能であり、停止タイマの利用またはスマートフォン102に物理的にタッチしているもしくはスマートフォン102を口頭で制御しているユーザを必要とせずに節電が可能である。
図5は、スマートフォン102内のレーダーシステム104の実現例500の追加的な詳細を示す図である。例500では、アンテナアレイ304は、グラスカバーまたは外部ケースといった、スマートフォン102の外部筐体の下に位置している。材料特性に応じて、外部筐体は、レーダーシステム104によって送受信されるレーダー信号を減衰または変形させる減衰器502として動作し得る。減衰器502は異なる種類のガラスまたはプラスチックを含んでもよく、それらのうち複数は、スマートフォン102のディスプレイスクリーン、外部筐体、または他のコンポーネント内において見られることがあり、約4~10の誘電率(たとえば、比誘電率)を有し得る。そのため、減衰器502はレーダー信号506に対して不透明または半透明であり、送信または受信されたレーダー信号506の一部を(反射部分504によって示されるように)反射させてもよい。従来のレーダーの場合、減衰器502は、監視可能な有効距離を減らすこと、小さな目標が検出されるのを防ぐこと、または全体的な精度を減少させることができる。
レーダーシステム104の送信パワーが制限されており、かつ、外部筐体の再設計が好ましくないと仮定すると、レーダー信号506の1つ以上の減衰依存特性(たとえば、周波数サブスペクトル508またはステアリング角510)または減衰器502の減衰依存特性(たとえば、減衰器502とレーダーシステム104との間の距離512または減衰器502の厚さ514)が、減衰器502の効果を緩和するために調節される。これらの特性のいくつかは、製造中に設定可能である、または、レーダーシステム104の動作中に減衰ミティゲータ314によって調節可能である。たとえば、減衰ミティゲータ314は、トランシーバ306に、選択された周波数サブスペクトル508またはステアリング角510を用いてレーダー信号506を送信させることができ、距離512を変更するために、プラットフォームにレーダーシステム104を減衰器502の近くにまたは遠くに移動させることができ、減衰器502の厚さ514を増大させるために他の減衰器を適用するように、ユーザを促すことができる。
適切な調節は、減衰器502の所定の特性(たとえば、スマートフォン102のコンピュータ可読媒体204にまたはシステム媒体310内に記憶された特性)に基づいて減衰ミティゲータ314によって、または、減衰器502の1つ以上の特性を測定するためにレーダー信号506の処理復帰によって、行うことができる。減衰依存特性のうち一部が固定または制約されている場合であっても、減衰ミティゲータ314は、これらの制限を考慮して各パラメータのバランスをとり、目標レーダー性能を得ることができる。その結果、減衰ミティゲータ314は、レーダーシステム104に、精度を増大させ、減衰器502の反対側に位置するユーザの検出およびトラッキングに効果的な範囲を広くすることができる。これらの技術によって、レーダーシステム104の消費電力を増大させる送信電力の増加、または、一旦デバイスが製造されると困難で高価になることがある減衰器502の材料特性の変化の代替が提供される。
図6は、レーダーシステム104によって実現される方式の例600を示す図である。この方式600の部分は、プロセッサ308、コンピュータプロセッサ202、または他のハードウェア回路によって行われ得る。方式600は、異なる種類の電子デバイスおよびレーダーベースアプリケーション106に対応するようにカスタマイズ可能であり、レーダーシステム104に、設計の制約にかかわらず、目標角度精度を実現させる。
トランシーバ306は、受信されたレーダー信号に対する受信アンテナ要素402の個々の応答に基づいて、生データ602を生成する。受信されたレーダー信号は、角度の曖昧さの解消を容易にするために、角度推定器318によって選択された1つ以上の周波数サブスペクトル604と関連付けられ得る。周波数サブスペクトル604は、たとえば、サイドローブの量を減らすために、またはサイドローブの振幅を減らす(たとえば、0.5dB、1.0dBまたはそれ以上振幅を減らす)ために選択可能である。周波数サブス
ペクトルの量は、レーダーシステム104の目標角度精度または演算の制限に基づいて求めることができる。
生データ602は、ある期間のデジタル情報(たとえば、同相直交位相データ)、異なる波数、および受信アンテナ要素402とそれぞれ関連付けられた複数のチャネルを含む。前処理データ608を生成するために、高速フーリエ変換(FFT)606が生データ602に対して行われる。前処理データ608は、異なる範囲(たとえば、レンジビン)について、および複数のチャネルについて、期間にわたるデジタル情報を含む。レンジドップラーデータ612を生成するために、ドップラーフィルタリング処理610が前処理データ608に対して行われる。ドップラーフィルタリング処理610は、複数のレンジビン、複数のドップラー周波数について、および複数のチャネルについて、振幅および位相情報を生成する他のFFTを含み得る。デジタルビームフォーマ316は、レンジドップラーデータ612に基づいて、ビームフォーミングデータ614を生成する。ビームフォーミングデータ614は、異なるステアリング角またはビームがデジタルビームフォーマ316によって形成される視野を表す、一連の方位および/または高度についてのデジタル情報を含む。図示されていないが、デジタルビームフォーマ316は、前処理データ608に基づいてビームフォーミングデータ614を代替的に生成してもよく、ドップラーフィルタリング処理610は、ビームフォーミングデータ614に基づいて、レンジドップラーデータ612を生成してもよい。演算の品質を下げるために、デジタルビームフォーマ316は、対象のレンジ、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ612または前処理データ608の一部を処理してもよい。
デジタルビームフォーマ316は、シングルルックビームフォーマ616、マルチルック干渉計618、またはマルチルックビームフォーマ620を用いて実現可能である。一般に、シングルルックビームフォーマ616は、決定論的なオブジェクト(たとえば、1つの位相中心を有する点光源目標)について使用可能である。非決定論的目標(たとえば、複数の位相中心を有する目標)について、シングルルックビームフォーマ616に対する精度を向上するために、マルチルック干渉計618またはマルチルックビームフォーマ620が使用される。人間は、非決定論的目標の例であり、624-1および624-2で示すような異なるアスペクト角に基づいて変化可能な複数の位相中心622を有する。複数の位相中心622によって生成される建設的干渉または相殺的干渉の変化によって、従来のレーダーが角位置を正確に求めることが困難になる場合がある。しかしながら、マルチルック干渉計618またはマルチルックビームフォーマ620は、ビームフォーミングデータ614の精度を増大するためにコヒーレントな平均化を行うことができる。マルチルック干渉計618はコヒーレントに、2つのチャネルの平均をとって、角度情報を正確に求めるために使用可能な位相情報を生成する。他方で、マルチルックビームフォーマ620は、フーリエ、カポン、多重信号分類(MUSIC)、または最小分散無歪応答(MVDR)などの線形または非線形ビームフォーマを用いて、コヒーレントに2つ以上のチャネルの平均をとることができる。マルチルックビームフォーマ620またはマルチルック干渉計618を介して提供される精度の増大によって、レーダーシステム104は、小さなジェスチャの認識、またはユーザの複数の部分の区別が可能になる。
角度推定器318は、ビームフォーミングデータ614を分析して、1つ以上の角位置を推定する。角度推定器318は、信号処理技術、パターンマッチング技術、または機械学習を利用可能である。また、角度推定器318は、レーダーシステム104の設計またはレーダーシステム104が監視する視野から生じ得る角度の曖昧さを解消する。角度の曖昧さの例が、振幅プロット626(たとえば、振幅応答)内に示されている。
振幅プロット626は、目標の異なる角位置について、および異なるステアリング角510について生じ得る振幅の相違を表す。第1の振幅応答628-1(実線で示される)
が、第1の角位置630-1に位置する目標について示される。同様に、第2の振幅応答628-2(点線で示される)が、第2の角位置630-2に位置する目標について示される。この例では、これらの相違は、-180°~180°の角度にわたって考慮される。
振幅プロット626において示されるように、2つの角位置630-1および630-2について、曖昧なゾーンが存在する。第1の振幅応答628-1は、第1の角位置630-1で最高ピークを有し、第2の角位置630-2でそれよりも小さなピークを有する。最高ピークが目標の実際の位置に対応している間、それよりもピークが小さいと、目標が第1の角位置630-1または第2の角位置630-2にあるかを従来のレーダーが確信を持って求めることができないであろう何らかの閾値内にあるため、第1の角位置630-1が曖昧になる。対称的に、第2の振幅応答628-2は、第2の角位置630-2でより小さなピークを有し、第1の角位置630-1でより高いピークを有する。この場合、より小さいピークは、目標の場所に対応する。
角位置を求めるために最高ピーク振幅を用いるように従来のレーダーを制限し得る間、角度推定器318は替わりに、振幅応答628-1および628-2の形状の微妙な差異を分析する。形状の特徴は、たとえば、ロールオフ、ピークもしくは空白幅、ピークもしくは空白の角位置、ピークおよび空白の高さもしくは深さ、サイドローブの形状、振幅応答628-1もしくは628-2内の対称性、または振幅応答628-1もしくは628-2内の対称性の欠如を含み得る。類似の形状特性が位相応答において分析可能であり、これによって、角度の曖昧さを解消するための付加的な情報を提供可能である。そのため、角度推定器318は、固有の角度シグネチャまたはパターンを角位置にマッピングする。
角度推定器318は、電子デバイスの種類(たとえば、演算能力または電力制限)に応じて選択可能な一連のアルゴリズムもしくはツール、またはレーダーベースアプリケーション106についての目標角度分解能を含み得る。いくつかの実現例では、角度推定器318は、ニューラルネットワーク632、畳み込みニューラルネットワーク(CNN)634、または長短期記憶(LSTM)ネットワーク636を含み得る。ニューラルネットワーク632は、隠れ層(たとえば、3個の隠れ層、5個の隠れ層、または10個の隠れ層)のさまざまな深さまたは量を有することができ、また、異なる量の接続を含むこともできる(たとえば、ニューラルネットワーク632は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る)。場合によっては、角度推定器318の演算速度を増大させるために、CNN634を使用可能である。LSTMネットワーク636は、角度推定器318にターゲットのトラッキングを行わせるために使用可能である。機械学習技術を用いて、振幅応答628-1または628-2の形状を分析するために、および、ユーザまたはユーザの一部が角度ビン内にある可能性を示す、角度確率データ638を生成するために、角度推定器318は非線形機能を採用する。角度推定器318は、目標がスマートフォン102の左側または右側に位置する確率を提供するための2つの角度ビンなどのいくつかの角度ビンについて、または数千の角度ビン(たとえば、連続角度測定について角度確率データ638を提供するために)、角度確率データ638を提供し得る。
角度確率データ638に基づいて、追跡モジュール640は、目標の角位置を特定する角位置データ642を生成する。追跡モジュール640は、角度確率データ638において最も高い確率を有する角度ビンに基づいて、または予測情報(たとえば、以前に測定された角位置情報)に基づいて、目標の角位置を求め得る。また、追跡モジュール640は、レーダーシステム104に確信をもって目標を区別または特定させるために、1つ以上の移動している目標のトラッキングを続けてもよい。範囲、ドップラー、速度、または加
速度を含む角位置を求めるために、他のデータも使用可能である。場合によっては、追跡モジュール640は、アルファベータトラッカー、カルマンフィルタ、多重仮説トラッカー(HMT)などを含み得る。
量子化モジュール644は、角位置データ642を取得し、データを量子化して、量子化角位置データ646を生成する。量子化は、レーダーベースアプリケーション106についての目標角度分解能に基づいて行うことができる。状況によっては、量子化角位置データ646が目標がスマートフォン102の右側か左側か示すように、または目標が位置している90°象限を特定するように、より低い量子化レベルを用いてもよい。これは、ユーザ近接検出など、いくつかのレーダーベースアプリケーション106にとって十分であり得る。他の状況では、量子化角位置データ646がコンマ1°、1°、5°などの精度内の対象の角位置を示すように、多数の量子化レベルを使用可能である。この分解能は、ジェスチャ認識などの、分解能がより高いレーダーベースアプリケーション106について使用可能である。いくつかの実現例では、デジタルビームフォーマ316、角度推定器318、追跡モジュール640、および量子化モジュール644は、1つの機械学習モジュールにおいて一緒に実現される。
これらおよび他の能力ならびに構成、同様に図1~図6のエンティティが作用しインタラクトする態様について、以下で説明する。説明されるエンティティは、たとえば、さらに分割されても、結合されても、他のセンサまたはコンポーネントと共に使用されてもよい。このように、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、レーダーシステム104および非レーダーセンサの異なる構成を有する電子デバイス(たとえば、スマートフォン102)の異なる実現を用いることができる。図1の動作環境の例100および図2~図6の詳細な説明は、説明された技術を採用可能な多数の考えられる環境およびデバイスの一部のみを示す。
システムの例
また、上述のように、本明細書で説明される技術およびシステムは、拡張現実(AR)オブジェクトを操作するために使用可能な3次元(3D)ジェスチャをデバイスに判断させることができる。
図7は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な別の環境の例700を示す図である。動作環境の例700は、レーダーシステム104、ディスプレイ108、およびレーダーベースアプリケーション702を含む、またはこれらと関連付けられたスマートフォン102を備える。動作環境の例700はスマートフォン102の文脈で示されており、図1および図2を参照して上述されたように、他の電子デバイスも、図7~図9を参照して説明される特徴および技術を実現するために使用し得る。環境の例700では、レーダーシステム104は、図1~図6を参照して説明されたレーダーフィールド110を提供する。レーダーシステム104はまた、スマートフォン102に、レーダーフィールド110におけるオブジェクト704からの反射の検知および分析を行わせる。図7に示されるように、オブジェクト704は人間の手であり、オブジェクト704は、木材、プラスチック、金属、繊維、または有機材料(たとえば、ユーザの体の一部)などからの反射の検知および分析を行うことができる。反射の分析に基づいて、レーダーシステム104は、図1~図6を参照して上述されたようなレーダーデータを提供可能である。たとえば、レーダーシステム104は、レーダーベースアプリケーション702など他のエンティティに、レーダーデータを渡すことができる。
レーダーベースアプリケーション702は、ディスプレイ108を通じたAR要素706の呈示およびAR要素706を選択する入力の受信が可能なさまざまなAR対応アプリ
ケーション(たとえば、レーダーベースアプリケーション106)のうちいずれかでもよい。AR要素706を選択するために受信された入力は、スマートフォン102のタッチスクリーンを通して受信された音声入力またはタッチ入力でもよい。さらに、レーダーベースアプリケーション702は、レーダーデータに基づいて、レーダーフィールド110(たとえば、ユーザの手または体の他の一部)内のオブジェクト704によって行われたジェスチャを判断可能であり、判断されたジェスチャに対応する、選択されたAR要素706に関連する動作を行い得る。ジェスチャを判断するために用いられるレーダーデータは、AR要素706を選択する入力がレーダーベースアプリケーション702によって受信された後に受信される反射の分析に基づくレーダーデータである。いくつかの実現例では、判断されたジェスチャは、3Dジェスチャ(たとえば、レーダーフィールド110によって照射された3D空間内における、いずれかの方向の1つ以上の移動を含むジェスチャ)でもよい。
3Dジェスチャは、水平方向寸法に沿って(たとえば、スマートフォン102の左側からスマートフォン102の右側に)スマートフォン102上方で手を移動させることによって行われるスクローリングジェスチャ、肘の周囲で回転するユーザの腕によって行われる手を振るジェスチャ、垂直方向寸法に沿って(たとえば、スマートフォン102の底面側からスマートフォン102の上面側に)スマートフォン102上方でユーザの手を移動させることによって行われる手を押すジェスチャを含む、さまざまなジェスチャのうちいずれかを含み得る。ユーザの手をスマートフォン102に向かって動かすことによって行われる手を伸ばすジェスチャ、仮想のドアノブを握るためにユーザの手の指を曲げ、仮想のドアノブを回転させる動作をまねるために時計回りまたは反時計回りに回転させることによって行われる、ノブを回すジェスチャ、ならびに、親指および少なくとも他の1つの指を一緒にこすることによって行われる、スピンドルをねじるジェスチャなど、他の種類の3Dジェスチャまたは動きも行うことができる。これらの例のジェスチャの種類の各々は、レーダーシステム104によって検出し得る。スマートフォン102は、これらのジェスチャの各々を検出すると、新しいコンテンツの表示、カーソルの移動、1つ以上のセンサの起動、アプリケーションのオープン、またはAR要素の操作などの動作を行い得る。このように、レーダーシステム104は、スマートフォン102のタッチフリー制御を提供する。例示的な3Dジェスチャおよび対応するアクションについて、図8および図9を参照して以下で説明する。
レーダーベースアプリケーション702はまた、レーダーデータに基づく3Dジェスチャの判断に関連する情報と、3Dジェスチャに対応するアクションに関連する情報とを記憶可能な3Dジェスチャモジュール708を含む。このように、説明された装置および技術によって、ARアプリケーションのユーザは、AR環境においてタッチ入力と3Dジェスチャとの両方を連続して便利に使用可能である。
他の例として、実現例800および900をそれぞれ示す図8および図9を考える。実現例800および900は、レーダーシステム104が3Dジェスチャを用いてレーダーシステムを備えるスマートフォン、システム、および方法を可能にする能力に関する付加的な詳細について説明する。
図8の詳細図800-1において、環境の例800は、レーダーフィールド110(図示せず)を提供しているレーダーシステム104を含むスマートフォン102を示す図である。詳細図800-1では、ユーザが、たとえばタッチ入力を介してAR要素802を選択することによって、AR要素802を既に選択していると仮定する。ユーザの体の一部804(この例ではユーザの手804)はレーダーフィールド110内にあり、レーダーシステム104は、ユーザの手804によって行われる3Dジェスチャを判断可能である。
詳細図800-2では、ユーザは、ユーザの手804とレーダーシステム104(たとえば、手を伸ばすジェスチャ)との間の距離を変更することによって、ジェスチャを行っている。詳細図800-2では、矢印806で示すように、ユーザの手804とレーダーシステム104との間の距離を増加させるためにユーザの手804を移動することによって距離が変更される。このジェスチャに対応するアクションは、選択されたAR要素802の拡大されたサイズとして詳細図800-2示される、選択されたAR要素802のユーザに近づく移動である。同様に、図8に示されていないが、ユーザは、ユーザの手804とレーダーシステム104との間の距離を減少させるためにユーザの手804を移動することによって、ジェスチャを行い得る。このような場合、このジェスチャに対応するアクションは、選択されたAR要素802のユーザから遠ざかる移動である。
いくつかの実現例では、選択されたAR要素802をユーザに近づける移動は、ユーザの手804とレーダーシステム104との間の増加した距離に比例する。同様に、選択されたAR要素802をユーザから遠ざける移動は、ユーザの手804とレーダーシステム104との間の減少した距離に比例する。他の実現例では、選択されたAR要素802の移動は、速度もしくは角度などのレーダーデータから求めることができるジェスチャの他の側面、またはジェスチャのさまざまな側面の組合せに比例し得る。
図9の詳細図900-1では、環境の例900は、レーダーフィールド110(図示せず)を提供しているレーダーシステム104を含むスマートフォン102を示す。詳細図900-1では、ユーザは、たとえばタッチ入力を介してAR要素902を選択することによって、AR要素902を既に選択していると仮定する。ユーザの体の一部904(この例ではユーザの手904)はレーダーフィールド110内にあり、レーダーシステム104は、ユーザの手904によって行われる3Dジェスチャを判断可能である。
詳細図900-2では、ユーザは、ユーザの手904とディスプレイ108の平面などの参照物との間で実質的に同様の距離を保ちつつ、レーダーシステム104に対するユーザの手904の位置を変更することによって、ジェスチャ(たとえば、スクローリングジェスチャ)を行っている。詳細図900-2では、ユーザの手904の変更された位置は、矢印906によって示されるような、右側から左側への動きである。このジェスチャに対応するアクションは、矢印908および約90°回転するAR要素902(「X」で印が付けられている)の印を付けられた、選択されたAR要素902の軸周りの一方向における、選択されたAR要素902の回転である。同様に、図9では示されていないが、ユーザは、ユーザの手904を左側から右側に移動することによってジェスチャを行い得る。このような場合、このジェスチャに対応するアクションは、軸周りの反対方向における選択されたAR要素902の回転である。
いくつかの実現例では、選択されたAR要素902の軸周りの回転の速度および量はそれぞれ、ユーザの手904の一方の側から他方の側への動きの速度または距離に比例する。他の実現例では、AR要素902の回転は、ユーザの手904の形状または表面積などのレーダーデータから求めることができるジェスチャの他の側面に、またはジェスチャのさまざまな側面の組合せに比例し得る。
実現例800および900は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする上述の技術、システム、および装置を用いて可能な多くの実現可能なジェスチャのうちの2つの例にすぎない。たとえば、ユーザは、AR環境において3Dオブジェクトを選択するためにタッチ入力を用いてもよく、その後、3Dオブジェクトをより小さくするために、さらにオブジェクトを削除するために、3Dピンチジェスチャを用いてもよい。同様に、ユーザは、AR環境において選択された3Dオブジェクトを投
入するために、フリック動作を用いてもよい。
さらに、上述の技術は、他の種類のアプリケーション(たとえば、非AR)またはARアプリケーションの非AR特徴と共に用いることもできる。たとえば、ユーザは、図画ベースまたはテキストベースアプリケーションおよび特徴とインタラクトするために、混合された制御(たとえば、3Dジェスチャと組合わされたタッチまたは音声入力)を用いてもよい。一例では、ユーザは、デバイスのタッチスクリーンに指をタッチし、その後指をタッチスクリーンに沿ってスライドすることによって、アプリケーションに線を引いてもよい。その後、ユーザは、タッチスクリーンから指を離し、仮想ダイアルを回すといった、3Dジェスチャを用いて、線の太さまたは他の特性を変更することができる。他の例では、ユーザは、タッチスクリーン上でテキストの選択、コピー、およびペーストが可能である。たとえば、ユーザは、表示されたテキストの一部を選択するために、タッチスクリーン上でタッチ-ピンチジェスチャを行うことができる。ユーザはその後、テキストをコピーするために3Dピンチジェスチャを行ってタッチ入力にもう一度切り替えることができ、カーソルをタッチスクリーン上で位置決めすることができる。他の3Dピンチジェスチャによって、選択されたテキストが新しい場所にペーストされる。このように、レーダーシステムを備えるスマートフォン、システム、および方法によって、タッチおよび3Dジェスチャの連続した統合が可能になり、ARアプリケーションと非ARアプリケーションとの両方の機能性およびユーザの楽しみが改善される。
方法の例
図10および図11は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の例1000を示す図である。方法1000は、レーダーフィールドを提供するためにレーダーシステムを用いる電子デバイスを用いて行うことができる。レーダーフィールドは、レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動していると判断するために用いられ、さまざまなタッチ入力コントローラの場所を、オブジェクトがレーダーシステムに向かって移動しているという判断に応じて特定の場所に固定することができる。方法100は、行われる動作を指定するがそれぞれのブロックによる動作を行うために示された順番または組合せに必ずしも限定されない、一連のブロックとして示されている。さらに、広範囲の付加的なおよび/または代替的な方法を提供するために、動作の1つ以上の繰返し、組合せ、認識、または関連付けが行われ得る。以下の説明の部分では、図1の動作環境の例100または図2~図9に詳細に説明されているようなエンティティもしくはプロセスが参照されてもよいが、それらの参照は例示に過ぎない。これらの技術は、1つのデバイスで動作する1つのエンティティまたは複数のエンティティによる実行に制限されない。
1002において、レーダーフィールドが提供される。このレーダーフィールドは、ディスプレイ(たとえば、ディスプレイ108)、レーダーシステム(たとえば、レーダーシステム104)、およびレーダーベースアプリケーション(たとえば、レーダーベースアプリケーション106または702)を含む、さまざまな電子デバイス(たとえば、上述のスマートフォン102)のうちのいずれかによって提供することができる。さらに、レーダーフィールドは、上述のレーダーフィールド110などのさまざまな種類のレーダーフィールドのうちいずれかでもよい。
1004において、レーダーフィールド内のオブジェクトからの反射が、レーダーシステムによって検知される。オブジェクトは、木材、プラスチック、金属、繊維、または有機材料など、さまざまなオブジェクトのうちいずれかでもよい。たとえば、オブジェクトは、上述のオブジェクト112、704、804、または904のうち1つなど、人間の体の一部(たとえば、手)でもよい。
1006において、レーダーフィールド内のオブジェクトからの反射が分析される。この分析は、さまざまなエンティティ(たとえば、レーダーシステム104、または本明細書で説明されるレーダーベースアプリケーションのうちいずれか)のうちいずれかによって行われてもよく、図3~図6を参照して説明されたもののような、さまざまな動作および判断を含み得る。
1008において、反射の分析に基づいて、図3~図6を参照して説明されたレーダーデータなどのレーダーデータが提供される。レーダーデータは、レーダーシステム104などのさまざまなエンティティのうちいずれか、または本明細書で説明されるレーダーベースアプリケーションのうちいずれかによって提供されてもよい。いくつかの実現例では、レーダーシステムは、レーダーデータを提供し、レーダーデータを他のエンティティ(たとえば、説明されたレーダーベースアプリケーションのうちいずれか)に渡し得る。方法1000の説明は、図10のブロック1008の後の文字「A」によって示されるように、図11において続いており、この「A」は、図11のブロック1010の前の「A」に対応する。
1010において、レーダーベースアプリケーションは、ディスプレイ(たとえば、ディスプレイ108)を通して拡張現実(AR)要素を呈示する。AR要素は、上述のAR要素116など、さまざまな種類のAR要素のうちいずれかでもよい。AR要素は、上述のタッチ入力コントローラ118などのタッチ入力コントローラを含み、リアルオブジェクト(たとえば、上述のリアルオブジェクト120-1)に関連し、リアルオブジェクトの画像は、ディスプレイに呈示される。
1012において、レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動しているという判断に応じて、タッチ入力コントローラは、電子デバイスのタッチスクリーン上の固定場所に提供され、ここで維持される。固定場所は、タッチ入力コントローラが最初に表示される場所でもよく、ディスプレイ上の他の場所でもよい。レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動しているという判断は、レーダーシステムまたはレーダーベースアプリケーションなど、さまざまなエンティティのうちいずれかによって行われてもよい。
いくつかの実現例では、タッチ入力コントローラは、リアルオブジェクトの画像がディスプレイに呈示されなくなると、固定場所で維持される。たとえば、関連するリアルオブジェクトが電子デバイスのディスプレイにおいて見える状態であり、かつ、ユーザがディスプレイに向かっている間に、ディスプレイの特定のコーナーにAR要素でタッチ入力コントローラが呈示されていると仮定する。何らかの理由で(たとえば、ユーザがタッチ入力コントローラに手を伸ばしつつフリアルオブジェクトをフレーム化された状態に維持していなかったために)リアルオブジェクトの画像がディスプレイ上に呈示されなくなると、タッチ入力コントローラは、ディスプレイの特定のコーナー(または、別の場所)で維持され続けることが可能であり、ユーザは、タッチ入力コントローラとインタラクトすることができる。
たとえば、方法1000の付加的な詳細を説明する環境の例1200を示す図12を考える。図12の詳細図1200-1では、環境の例1200は、レーダーフィールド110(図示せず)を提供しているレーダーシステム104を含む電子デバイス(この場合、スマートフォン102)を示す。詳細図1200-1は、スマートフォンを片手(たとえば、左手1202)に保持するユーザが、スマートフォン102-1で実行しているレーダーベースアプリケーション106のARインターフェースにおいてリアルオブジェクト120-1をフレーム化していることを示す。図示するように、レーダーベースアプリケーション106は、リアルオブジェクト120-1の画像(たとえば、画像120-2)
をディスプレイ108に呈示している(画像120-2は、破線矢印で示されている)。レーダーベースアプリケーション106はまた、タッチ入力コントローラ118を含むAR要素116を、ディスプレイ108のコーナー付近の場所に呈示している。
詳細図1200-2では、ユーザは、斜線矢印1206によって示されるように、他の手(たとえば、右手1204)をタッチ入力コントローラ118に向かって伸ばし始めている。ユーザはスマートフォン102に向かって手を伸ばしていると判断された(たとえば、レーダーベースアプリケーション106または他のエンティティが、レーダーデータを用いて、スマートフォン102に向かって右手1204を延ばしていると判断した)と仮定する。ユーザはまた、右手1204をタッチ入力コントローラ118に向けて延ばしつつ、リアルオブジェクト120-1の画像120-2がディスプレイ108を通して見えなくなるように、スマートフォン102を移動させている。この移動は、点線矢印1208によって示されている。説明された技術を用いて、レーダーベースアプリケーション106は依然として、AR要素116およびタッチ入力コントローラ118を、ディスプレイ108のコーナー付近でほぼ同じ場所に維持している。
詳細図1200-3では、ユーザがタッチ入力コントローラ118を(たとえば、右手1204によるタッチ入力を介して)起動させていると仮定する。これに応じて、レーダーベースアプリケーション106は、ユーザにリアルオブジェクト120-1に関する情報を提供可能な付加的なタッチ入力コントローラ1212と共に、リアルオブジェクト120-1(図示せず)の他の画像120-2を示す2Dインターフェース1210を呈示している。
いくつかの実現例では、固定場所に提供されているタッチ入力コントローラ118は、レーダーフィールド内のオブジェクトがディスプレイ108に向かって移動しているという判断から閾値時間内にタッチされない場合、タッチ入力コントローラは、固定場所に提供されなくなってもよい。閾値時間は、1.5秒(s)、2s、または3sなどさまざまな時間でもよく、前もって設定可能である、または、ユーザが選択可能である。さらに他の実現例では、レーダーベースアプリケーション106は、ユーザの手が閾値速度を超える速度でディスプレイ108に向かって移動していると判断される場合のみ、固定場所にタッチ入力コントローラを提供してもよい。閾値速度は、0.25フィート/秒(fps)、0.5fps、または0.75fpsなどの任意の速度でもよい。
コンピューティングシステムの例
図13は、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、前述の図1~図12を参照して説明されるいずれかの種類のクライアント、サーバ、および/または電子デバイスとして実現可能なコンピューティングシステムの例1300のさまざまなコンポーネントを示す図である。
コンピューティングシステム1300は、デバイスデータ1304(たとえば、レーダーデータ、3Dジェスチャデータ、認証データ、参照データ、受信データ、受信中のデータ、ブロードキャスト予定のデータ、データのデータパケット)の有線および/または無線通信を可能にする通信デバイス1302を備える。デバイスデータ1304または他のデバイスは、デバイスの設定項目、デバイスに記憶されたメディアコンテンツ、および/またはデバイスのユーザと関連付けられた情報(たとえば、レーダーフィールド内の人の識別)を含み得る。コンピューティングシステム1300に記憶されたメディアコンテンツは、任意の種類のレーダー、バイオメトリック、音声、映像、および/または画像データを含み得る。コンピューティングシステム1300は、人間の発声、レーダーフィールドとのインタラクション、タッチ入力、(明示的または暗示的な)ユーザが選択可能な入力、メッセージ、音楽、テレビメディアコンテンツ、記録された映像コンテンツ、および
任意のコンテンツおよび/またはデータソースから受信された他の種類の音声、映像、および/または画像データなどの、それを介して任意の種類のデータ、メディアコンテンツ、および/または入力を受信可能な1つ以上のデータ入力1306を含む。
また、コンピューティングシステム1300は通信インターフェース1308を備え、これらの通信インターフェースは、直列および/または並列インターフェース、無線インターフェース、任意の種類のネットワークインターフェース、モデムのいずれか1つ以上として、および他の種類の通信インターフェースとして実現可能である。通信インターフェース1308は、コンピューティングシステム1300と、他の電子、計算、および通信デバイスがコンピューティングシステム1300とデータを通信する通信ネットワークとの間に接続および/または通信リンクを提供する。
コンピューティングシステム1300は、コンピューティングシステム1300の動作を制御し、レーダーシステムを備えるスマートフォン、システム、および方法のための技術を可能にする、またはこれを実現可能にするために、さまざまなコンピュータ実行可能な命令を処理できる1つ以上のプロセッサ1310(たとえば、マイクロプロセッサ、制御部、または他の制御部)を備える。代替的にまたは付加的に、コンピューティングシステム1300は、一般に1312で特定される処理および制御回路に関連して実現されるハードウェア、ファームウェア、または固定論理回路のうちいずれか1つまたはこれらの組合せで実現可能である。図示されないが、コンピューティングシステム1300は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを備え得る。システムバスは、メモリバスまたはメモリ制御部、周辺バス、ユニバーサルシリアルバス、および/または、さまざまなバスアーキテクチャのいずれかを用いるプロセッサもしくはローカルバスのうちいずれか1つ、またはこれらの組合せを備え得る。
コンピューティングシステム1300はまた、永続的なおよび/または非一時的なデータ記憶(すなわち、単なる信号の送信とは対称的である)を可能にする1つ以上のメモリデバイスなどのコンピュータ可読媒体1314を備え、その例としては、ランダムアクセスメモリ(RAM)、不揮発性メモリ(たとえば、読出し専用メモリ(ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちいずれか1つ以上)、およびディスク記憶装置を含む。ディスク記憶装置は、ハードディスクドライブ、記録可能および/または書換え可能なコンパクトディスク(CD)、任意の種類のデジタル多用途ディスク(DVD)などの、任意の種類の磁気または光学記憶装置として実現可能である。コンピューティングシステム1300は、大容量記憶媒体デバイス(記憶媒体)1316も備え得る。
コンピュータ可読媒体1314は、デバイスデータ1304、ならびにさまざまなデバイスアプリケーション1318およびコンピューティングシステム1300の動作状況に関連する他の種類の情報および/またはデータを記憶するために、データ記憶装置メカニズムを提供する。たとえば、オペレーティングシステム1320は、コンピュータ可読媒体1314を有するコンピュータアプリケーションとして維持可能であり、プロセッサ1310で実行可能である。デバイスアプリケーション1318は、任意の形式の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象モジュール、ジェスチャ認識モジュール、ならびに他のモジュールなどのデバイスマネージャを含み得る。デバイスアプリケーション1318は、レーダーシステム104、レーダーベースアプリケーション106、またはレーダーベースアプリケーション702(3Dジェスチャモジュール708を含む)などの、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、システムコンポーネント、エンジン、またはマネージャも含み得る。また、コンピューティングシステム1300は、1つ以上の機械学習システムを含み得る、またはこれらへのアクセスを
有し得る。
いくつかの例について、以下で説明する。
例1:スマートフォンであって、ディスプレイと、ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、レーダーシステムは、レーダーフィールドを提供し、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析し、および、反射の分析に基づいて、レーダーデータを提供するように構成され、スマートフォンはさらに、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶された、1つ以上のコンピュータ可読媒体とを備え、レーダーベースアプリケーションは、スマートフォンのディスプレイを通して、タッチ入力コントローラを含みリアルオブジェクトに関連する拡張現実(AR)要素を呈示するように構成され、リアルオブジェクトの画像がディスプレイに呈示され、レーダーベースアプリケーションはさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイ上の固定場所に維持する。
例2:レーダーフィールド内のオブジェクトはユーザであり、これによって、リアルオブジェクトの画像がディスプレイ上で不安定に移動している際であっても、タッチ入力コントローラとのユーザのインタラクションの容易さおよび精度が、固定場所にタッチ入力コントローラを維持することによって高められる、例1に記載のスマートフォン。
例3:レーダーベースアプリケーションはさらに、ユーザがスマートフォンを第1の手で保持する間、タッチ入力コントローラを含む拡張現実(AR)要素を呈示するように構成されている、例1または2に記載のスマートフォン。
例4:レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、ユーザが第2の手をスマートフォンに向かって伸ばしているという判断を含み、スマートフォンは、リアルオブジェクトの画像がディスプレイに呈示されなくなるように位置決めされており、レーダーベースアプリケーションはさらに、リアルオブジェクトの画像がディスプレイに呈示されなくなるように、AR要素とタッチ入力コントローラとを、ユーザがスマートフォンを移動させる前に呈示される場所とほぼ同じディスプレイ上の場所で維持するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例5:タッチ入力コントローラは、第2の手による以前のタッチ入力を介して起動されており、レーダーベースアプリケーションはさらに、タッチ入力コントローラの起動に応じて、2次元(2D)インターフェースをディスプレイに呈示するように構成されており、2次元(2D)インターフェースは、リアルオブジェクトの他の画像と、リアルオブジェクトについての情報をユーザに提供する他のタッチ入力コントローラとを含む、前述の例の少なくとも1つに記載のスマートフォン。
例6:レーダーベースアプリケーションはさらに、リアルオブジェクトの画像がディスプレイに呈示されなくなると、タッチ入力コントローラの固定場所を維持するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例7:レーダーベースアプリケーションはさらに、固定場所におけるタッチ入力コントローラが閾値時間内にタッチされないことに応じて、固定場所においてタッチ入力コントローラを提供することを中止するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例8:レーダーベースアプリケーションはさらに、レーダーフィールド内のオブジェクトが閾値速度を超える速度でディスプレイに向かって移動している場合、固定位置においてタッチ入力コントローラを提供するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例9:スマートフォンは撮像デバイスを備え、レーダーベースアプリケーションは、撮像デバイスを介して、リアルオブジェクトの画像をリアルタイムまたはニアリアルタイムで呈示する、前述の例の少なくとも1つに記載のスマートフォン。
例10:レーダーシステムはさらに、レーダーデータに基づいて、レーダーフィールド内のオブジェクトがディスプレイに向かって移動していると判断するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例11:レーダーベースアプリケーションはさらに、レーダーデータに基づいて、レーダーフィールド内のオブジェクトがディスプレイに向かって移動していると判断するように構成されている、前述の例の少なくとも1つに記載のスマートフォン。
例12:レーダーフィールド内のオブジェクトは、ユーザの体の一部である、前述の例の少なくとも1つに記載のスマートフォン。
例13:システムであって、ディスプレイを含む電子デバイスと、ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、レーダーシステムは、レーダーフィールドを提供し、第1の時間に、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析し、および、反射の分析に基づいて、レーダーデータを提供するように構成され、システムはさらに、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータ可読媒体とを備え、1つ以上のコンピュータ可読媒体には、1つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶されており、レーダーベースアプリケーションは、電子デバイスのディスプレイを通して拡張現実(AR)要素を呈示し、第1の時間よりも後の第2の時間に、AR要素を選択する入力を受信し、レーダーデータに基づいて、レーダーフィールド内のオブジェクトによるジェスチャを判断し、および、判断されたジェスチャに対応する、選択されたAR要素に関連するアクションを行うように構成されている、または、1つ以上のコンピュータ可読媒体とを備え、1つ以上のコンピュータ可読媒体には、1つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶されており、レーダーベースアプリケーションは、スマートフォンのディスプレイを通して、タッチ入力を含みリアルオブジェクトに関連する拡張現実(AR)要素を呈示するように構成され、リアルオブジェクトの画像がディスプレイに呈示され、レーダーベースアプリケーションはさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイの固定場所に維持するように構成されている、システム。
例14:AR要素を選択する入力はタッチ入力である、例13に記載のシステム。
例15:判断されたジェスチャは3次元(3D)ジェスチャである、例13または14に記載のシステム。
例16:オブジェクトはユーザの体の一部である、例13~15の少なくとも1つに記載のシステム。
例17:判断されたジェスチャは、オブジェクトとレーダーシステムとの間の距離を変更することを含む、例13~16の少なくとも1つに記載のシステム。
例18:オブジェクトとレーダーシステムとの間で増加した距離である、変更された距離に対応するアクションは、ユーザに近接する、選択されたAR要素の移動であり、オブジェクトとレーダーシステムとの間で減少した距離である、変更された距離に対応するアクションは、ユーザから離れる、選択されたAR要素の移動である、例17に記載のシステム。
例19:ユーザに近接する、選択されたAR要素の移動は、増加した距離に比例し、ユーザから離れる、選択されたAR要素の移動は、減少した距離に比例する、例18に記載のシステム。
例20:判断されたジェスチャは、体の一部と電子デバイスのディスプレイの平面との間の距離と実質的に同じ距離を維持しつつ、レーダーシステムに対するオブジェクトの位置を変更することを含む、例13~19の少なくとも1つに記載のシステム。
例21:第1の方向における位置の変更に対応するアクションは、選択されたAR要素の軸の周囲での第1の回転方向における選択されたAR要素の回転であり、第2の方向における位置の変更に対応するアクションは、軸の周囲での第2の回転方向における選択されたAR要素の回転である、例20に記載のシステム。
例22:レーダーシステムはさらに、デジタルビームフォーマと角度推定器とを備え、レーダーシステムは、約-90°~約90°の視野における角度を監視するように構成されている、例13~21の少なくとも1つに記載のシステム。
例23:ディスプレイ、レーダーシステム、およびレーダーベースアプリケーションを含む電子デバイスで実現される方法であって、レーダーシステムが、レーダーフィールドを提供することと、レーダーシステムが、レーダーフィールド内のオブジェクトからの反射を検知することと、レーダーフィールド内のオブジェクトからの反射を分析することと、反射の分析に基づいて、レーダーデータを提供することと、レーダーベースアプリケーションが、タッチ入力コントローラを含みリアルオブジェクトに関連する拡張現実(AR)要素を、電子デバイスのディスプレイを通して呈示することとを備え、リアルオブジェクトの画像がディスプレイに呈示され、方法はさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイ上の固定場所に維持することを備える、方法。
例24:レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、レーダーシステムによって、またはレーダーベースアプリケーションによって行われる、例23に記載の方法。
例25:電子デバイスはハンドヘルドデバイスであり、レーダーフィールド内のオブジェクトはユーザであり、方法はさらに、リアルオブジェクトの画像がディスプレイ上で不安定に移動している際であっても、タッチ入力コントローラを固定場所に維持し、これによって、タッチ入力コントローラとのユーザのインタラクションの容易さおよび精度が高められることを備える、例23または24に記載の方法。
例26:ユーザが電子デバイスを第1の手で保持している間、レーダーベースアプリケーションが、タッチ入力コントローラを含む拡張現実(AR)要素を呈示することをさら
に備える、例23~25の少なくとも1つに記載の方法。
例27:レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、ユーザが第2の手を電子デバイスに向かって伸ばしていると判断することを含み、電子デバイスは、リアルオブジェクトの画像がディスプレイに呈示されなくなるように位置決めされており、方法はさらに、レーダーベースアプリケーションが、リアルオブジェクトの画像がディスプレイに呈示されなくなるように、ユーザが電子デバイスを移動させる前に呈示されている場所とほぼ同じディスプレイ上の場所で、AR要素とタッチ入力コントローラとを維持することを備える、例23~26の少なくとも1つに記載の方法。
例28:タッチ入力コントローラは、第2の手による以前のタッチ入力を介して起動されており、方法はさらに、タッチ入力コントローラの起動に応じて、レーダーベースアプリケーションが、ディスプレイに2次元(2D)ユーザインターフェースを表示することを備え、2Dユーザインターフェースは、リアルオブジェクトの他の画像と、リアルオブジェクトについての情報をユーザに提供する他のタッチ入力コントローラとを含む、例23~27の少なくとも1つに記載の方法。
むすび
レーダーシステムを備えるスマートフォン、システム、および方法のための技術、ならびにこれらを可能にする装置の実現例について、特徴および/または方法に特有の言語で説明したが、添付の請求項の範囲の主題が必ずしも上述の特定の特徴または方法に制限されるわけではない。そうではなく、特定の特徴および方法は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする実現例として開示されている。

Claims (11)

  1. スマートフォンであって、
    ディスプレイと、
    ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、前記レーダーシステムは、
    レーダーフィールドを提供し、
    前記レーダーフィールド内のオブジェクトからの反射を検知し、
    前記レーダーフィールド内の前記オブジェクトからの前記反射を分析し、および、
    前記反射の前記分析に基づいて、レーダーデータを提供するように構成され、前記スマートフォンはさらに、
    1つ以上のコンピュータプロセッサと、
    前記1つ以上のコンピュータプロセッサによる実行に応じて、
    前記スマートフォンの前記ディスプレイを通して、タッチ入力を受信可能なユーザインターフェースを呈示し、
    前記ユーザインターフェースを通してタッチ入力を受信し、
    前記タッチ入力に対応し、かつ結果を生じるアクションを行い、
    前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断し、および、
    判断された前記ジェスチャに対応し、かつ前記タッチ入力に対応する前記アクションの前記結果と関連する他のアクションを行うように構成された命令が記憶された、1つ以上のコンピュータ可読媒体とを備え、
    前記レーダーフィールド内の前記オブジェクトはユーザであり、
    前記タッチ入力は、前記ユーザインターフェースに沿った指のタッチおよびスライドを含み、
    前記タッチ入力に対応する前記アクションの前記結果は、前記ディスプレイ上でのラインの表示であり、前記ラインは、前記スライドの形状に対応する形状を有し、
    判断された前記ジェスチャに対応する前記他のアクションは、前記ラインに対する変更を含み、前記変更は、
    前記ラインの太さを増加または減少させること、
    前記ラインの色を変更すること、
    前記ラインの長さを増加または減少させること、または、
    前記ラインのパターンを変更することのうちの少なくとも1つを含む、スマートフォン。
  2. スマートフォンであって、
    ディスプレイと、
    ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、前記レーダーシステムは、
    レーダーフィールドを提供し、
    前記レーダーフィールド内のオブジェクトからの反射を検知し、
    前記レーダーフィールド内の前記オブジェクトからの前記反射を分析し、および、
    前記反射の前記分析に基づいて、レーダーデータを提供するように構成され、前記スマートフォンはさらに、
    1つ以上のコンピュータプロセッサと、
    前記1つ以上のコンピュータプロセッサによる実行に応じて、
    前記スマートフォンの前記ディスプレイを通して、タッチ入力を受信可能なユーザインターフェースを呈示し、
    前記ユーザインターフェースを通してタッチ入力を受信し、
    前記タッチ入力に対応し、かつ結果を生じるアクションを行い、
    前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断し、および、
    判断された前記ジェスチャに対応し、かつ前記タッチ入力に対応する前記アクションの前記結果と関連する他のアクションを行うように構成された命令が記憶され、
    前記レーダーフィールド内の前記オブジェクトはユーザであり、
    前記タッチ入力は、表示されたテキストの部分の付近の前記ユーザインターフェースに対する前記ユーザの2本以上の指のタッチと、前記ユーザインターフェースに対する前記タッチを維持しつつ、前記指を分離させるのに効果的な前記指の1本以上のスライドとを含み、
    前記タッチ入力に対応する前記アクションの前記結果は、前記タッチ入力が行われる表示されたテキストの前記部分の選択であり、
    判断された前記ジェスチャは、選択された前記テキストに対して動作を行う3次元(3D)ジェスチャであり、
    前記3Dジェスチャは、第1のピンチジェスチャを含み、
    選択された前記テキストに対して行われる前記動作は、選択された前記テキストのコピーであり、
    前記命令はさらに、
    他のタッチ入力を前記ユーザインターフェースを介して受信するように構成され、前記他のタッチ入力は、前記他のタッチ入力に対応する場所において前記ユーザインターフェース上にカーソルを置くのに効果的であり、前記命令はさらに、
    前記レーダーデータに基づいて、前記ユーザによる他のジェスチャを判断するように構成され、前記他のジェスチャは第2のピンチジェスチャを含み、前記命令はさらに、
    前記第2のピンチジェスチャの判断に応じて、前記他のタッチ入力に対応する前記場所において選択された前記テキストをペーストすることを含む他の動作を行うように構成された、スマートフォン。
  3. 前記タッチ入力に対応する前記アクションは、図画ベースアプリケーションによるアクションを含み、
    判断された前記ジェスチャに対応する前記他のアクションは、前記図画ベースアプリケーションに関連する、請求項2に記載のスマートフォン。
  4. 判断された前記ジェスチャに対応し、かつ前記図画ベースアプリケーションと関連する前記他のアクションは、
    前記図画ベースアプリケーションを用いて作成された図画の新しい要素の作成、
    前記図画ベースアプリケーションを用いて作成された前記図画の既存の要素に対する変更、
    前記図画ベースアプリケーションを用いて作成された前記図画を表すデータファイルに対して行われる動作、または、
    前記図画ベースアプリケーションのメニューとのインタラクションのうちの1つまたは複数を含む、請求項3に記載のスマートフォン。
  5. 前記タッチ入力は、前記ユーザインターフェースに沿った指のタッチおよびスライドを含み、
    前記タッチ入力に対応する前記アクションの前記結果は、前記ディスプレイ上でのラインの表示であり、前記ラインは、前記スライドの形状に対応する形状を有し、
    判断された前記ジェスチャに対応する前記他のアクションは、前記ラインに対する変更を含み、前記変更は、
    前記ラインの太さを増加または減少させること、
    前記ラインの色を変更すること、
    前記ラインの長さを増加または減少させること、または、
    前記ラインのパターンを変更することのうちの少なくとも1つを含む、請求項2に記載のスマートフォン。
  6. 判断された前記ジェスチャは、
    ダイアルを回すジェスチャ、または、
    スピンドルをねじるジェスチャを含む3次元(3D)ジェスチャである、請求項1または請求項2に記載のスマートフォン。
  7. 前記タッチ入力に対応する前記アクションは、テキストベースアプリケーションによるアクションを含み、
    判断された前記ジェスチャに対応する前記他のアクションは、前記テキストベースアプリケーションに関連する、請求項1または請求項2に記載のスマートフォン。
  8. 判断された前記ジェスチャに対応する前記他のアクションは、
    前記テキストベースアプリケーションに対する変更、
    前記テキストベースアプリケーション内の新しいテキストの作成、
    前記テキストベースアプリケーション内の前記テキストを表すデータファイルに対して行われる動作、または、
    前記テキストベースアプリケーションのメニューとのインタラクションのうちの1つまたは複数を含む、請求項7に記載のスマートフォン。
  9. 前記タッチ入力は、表示されたテキストの部分の付近の前記ユーザインターフェースに対する前記ユーザの2本以上の指のタッチと、前記ユーザインターフェースに対する前記タッチを維持しつつ、前記指を分離させるのに効果的な前記指の1本以上のスライドとを含み、
    前記タッチ入力に対応する前記アクションの前記結果は、前記タッチ入力が行われる表示されたテキストの前記部分の選択であり、
    判断された前記ジェスチャは、選択された前記テキストに対して動作を行う3次元(3D)ジェスチャである、請求項1に記載のスマートフォン。
  10. 前記3Dジェスチャは、第1のピンチジェスチャを含み、
    選択された前記テキストに対して行われる前記動作は、選択された前記テキストのコピーであり、
    前記命令はさらに、
    他のタッチ入力を前記ユーザインターフェースを介して受信するように構成され、前記他のタッチ入力は、前記他のタッチ入力に対応する場所において前記ユーザインターフェース上にカーソルを置くのに効果的であり、前記命令はさらに、
    前記レーダーデータに基づいて、前記ユーザによる他のジェスチャを判断するように構成され、前記他のジェスチャは第2のピンチジェスチャを含み、前記命令はさらに、
    前記第2のピンチジェスチャの判断に応じて、前記他のタッチ入力に対応する前記場所において選択された前記テキストをペーストすることを含む他の動作を行うように構成された、請求項9に記載のスマートフォン。
  11. 前記レーダーシステムはさらに、デジタルビームフォーマと角度推定器とを含み、前記レーダーシステムは、約-90°~約90°の視野における角度を監視するように構成された、請求項1~請求項10のいずれか1項に記載のスマートフォン。
JP2021037423A 2018-08-24 2021-03-09 レーダーシステムを備えるスマートフォン、システムおよび方法 Active JP7296415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022091665A JP7340656B2 (ja) 2018-08-24 2022-06-06 電子機器およびソフトウェアプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/112,130 US10698603B2 (en) 2018-08-24 2018-08-24 Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US16/112,130 2018-08-24
JP2020517425A JP6851547B2 (ja) 2018-08-24 2019-08-05 レーダーシステムを備えるスマートフォン、システムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020517425A Division JP6851547B2 (ja) 2018-08-24 2019-08-05 レーダーシステムを備えるスマートフォン、システムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022091665A Division JP7340656B2 (ja) 2018-08-24 2022-06-06 電子機器およびソフトウェアプログラム

Publications (2)

Publication Number Publication Date
JP2021099857A JP2021099857A (ja) 2021-07-01
JP7296415B2 true JP7296415B2 (ja) 2023-06-22

Family

ID=67660474

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020517425A Active JP6851547B2 (ja) 2018-08-24 2019-08-05 レーダーシステムを備えるスマートフォン、システムおよび方法
JP2020090667A Active JP6861311B2 (ja) 2018-08-24 2020-05-25 レーダーシステムを備えるスマートフォン、システムおよび方法
JP2021037423A Active JP7296415B2 (ja) 2018-08-24 2021-03-09 レーダーシステムを備えるスマートフォン、システムおよび方法
JP2022091665A Active JP7340656B2 (ja) 2018-08-24 2022-06-06 電子機器およびソフトウェアプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2020517425A Active JP6851547B2 (ja) 2018-08-24 2019-08-05 レーダーシステムを備えるスマートフォン、システムおよび方法
JP2020090667A Active JP6861311B2 (ja) 2018-08-24 2020-05-25 レーダーシステムを備えるスマートフォン、システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022091665A Active JP7340656B2 (ja) 2018-08-24 2022-06-06 電子機器およびソフトウェアプログラム

Country Status (7)

Country Link
US (3) US10698603B2 (ja)
EP (2) EP3722928A1 (ja)
JP (4) JP6851547B2 (ja)
KR (3) KR102318343B1 (ja)
CN (3) CN111766943A (ja)
TW (1) TWI738022B (ja)
WO (1) WO2020040966A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017131114A1 (de) * 2017-12-22 2019-06-27 S.M.S, Smart Microwave Sensors Gmbh Verfahren und Vorrichtung zum Bestimmen wenigstens eines Parameters eines Objektes
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11494051B1 (en) * 2018-11-01 2022-11-08 Intuit, Inc. Image template-based AR form experiences
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11082535B2 (en) * 2018-12-20 2021-08-03 Here Global B.V. Location enabled augmented reality (AR) system and method for interoperability of AR applications
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CA3169785A1 (en) * 2020-03-06 2021-09-10 Stuart Graydon Computer enhanced maintenance system
US20210405179A1 (en) * 2020-06-25 2021-12-30 Lassen Peak, Inc. Systems and Methods for Noninvasive Detection of Impermissible Objects
EP4179411A1 (en) 2020-07-10 2023-05-17 Telefonaktiebolaget LM ERICSSON (PUBL) Visual feedback from a user equipment
KR20220009207A (ko) 2020-07-15 2022-01-24 삼성전기주식회사 고주파 모듈을 포함하는 전자 기기
EP3944107A1 (en) 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
TWI760808B (zh) * 2020-08-04 2022-04-11 何忠誠 雷達距離探測裝置與方法
KR102322817B1 (ko) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
KR20220080399A (ko) * 2020-12-07 2022-06-14 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
CN112904999A (zh) * 2020-12-30 2021-06-04 江苏奥格视特信息科技有限公司 一种基于激光雷达的增强现实体感交互方法及系统
US11474232B2 (en) 2021-03-19 2022-10-18 KaiKuTek Inc. Range doppler angle detection method and range doppler angle detection device
TWI756122B (zh) * 2021-04-30 2022-02-21 開酷科技股份有限公司 距離都卜勒雷達角度感測方法及裝置
US20230096207A1 (en) * 2021-09-29 2023-03-30 The Adt Security Corporation Gesture based interface for a premises security system
CN113918015B (zh) * 2021-10-08 2024-04-19 三星电子(中国)研发中心 一种增强现实的交互方法和装置
TWI804072B (zh) * 2021-11-26 2023-06-01 國立陽明交通大學 使用毫米波雷達的即時物件運動狀態辨識方法
WO2024057375A1 (ja) * 2022-09-13 2024-03-21 三菱電機株式会社 機械学習による位置推定部を備える操作パネル装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237951A (ja) 2008-03-27 2009-10-15 Nissha Printing Co Ltd プレゼンテーションシステム
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
JP2013546066A (ja) 2011-09-27 2013-12-26 イーロ・タッチ・ソリューションズ・インコーポレイテッド デバイスとのユーザのタッチ及び非タッチベースのインタラクション
JP2015203835A (ja) 2014-04-16 2015-11-16 株式会社日立システムズ テキスト編集装置、テキスト編集方法、及びプログラム
JP2016035625A (ja) 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017018388A1 (ja) 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JPH11338120A (ja) * 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US7511630B2 (en) 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US7199749B2 (en) 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
KR101019569B1 (ko) 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
EP1946203A2 (en) 2005-10-26 2008-07-23 Sony Computer Entertainment America, Inc. System and method for interfacing with a computer program
TW200731743A (en) 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR100984230B1 (ko) 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
US20090322690A1 (en) 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
US8243724B2 (en) 2009-02-18 2012-08-14 MBTE Holdings Sweden AB Enhanced calling features
US7924212B2 (en) 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
KR20110101585A (ko) 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) * 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) * 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) * 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
CA2853033C (en) 2011-10-21 2019-07-16 Nest Labs, Inc. User-friendly, network connected learning thermostat and related systems and methods
US20130120458A1 (en) 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
JP2013125328A (ja) * 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
KR101371547B1 (ko) 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
CN103383607B (zh) * 2012-05-02 2017-03-01 国际商业机器公司 用于对触摸屏设备中的所显示内容进行钻取的方法和系统
US9494973B2 (en) 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US9632584B2 (en) 2013-01-08 2017-04-25 2236008 Ontario Inc. On-demand user control
US20150370443A1 (en) * 2013-02-12 2015-12-24 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
US9733677B2 (en) 2013-05-08 2017-08-15 Ran Geva Motion-based message display
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
US20150187137A1 (en) 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) * 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9497592B2 (en) 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016032806A1 (en) 2014-08-26 2016-03-03 Apple Inc. User interface for limiting notifications and alerts
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10481696B2 (en) 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ihiエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
CN111522434A (zh) * 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
EP3289434A1 (en) * 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
JP6515028B2 (ja) * 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10613213B2 (en) 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180018965A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
KR101847295B1 (ko) * 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US11307760B2 (en) * 2017-09-25 2022-04-19 Huawei Technologies Co., Ltd. Terminal interface display method and terminal
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237951A (ja) 2008-03-27 2009-10-15 Nissha Printing Co Ltd プレゼンテーションシステム
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
JP2013546066A (ja) 2011-09-27 2013-12-26 イーロ・タッチ・ソリューションズ・インコーポレイテッド デバイスとのユーザのタッチ及び非タッチベースのインタラクション
JP2015203835A (ja) 2014-04-16 2015-11-16 株式会社日立システムズ テキスト編集装置、テキスト編集方法、及びプログラム
JP2016035625A (ja) 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017018388A1 (ja) 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Also Published As

Publication number Publication date
CN113220115A (zh) 2021-08-06
TWI738022B (zh) 2021-09-01
CN111149079B (zh) 2021-04-02
WO2020040966A1 (en) 2020-02-27
JP2021504771A (ja) 2021-02-15
KR20200055157A (ko) 2020-05-20
US20200285383A1 (en) 2020-09-10
EP3673346A1 (en) 2020-07-01
KR20200036944A (ko) 2020-04-07
JP2022119986A (ja) 2022-08-17
EP3722928A1 (en) 2020-10-14
US10936185B2 (en) 2021-03-02
EP3673346B1 (en) 2021-10-06
TW202009650A (zh) 2020-03-01
KR102318343B1 (ko) 2021-10-27
JP6851547B2 (ja) 2021-03-31
CN111149079A (zh) 2020-05-12
US11204694B2 (en) 2021-12-21
US20200064996A1 (en) 2020-02-27
JP2020173817A (ja) 2020-10-22
KR102318342B1 (ko) 2021-10-27
KR102184107B1 (ko) 2020-11-27
KR20200133832A (ko) 2020-11-30
JP6861311B2 (ja) 2021-04-21
JP7340656B2 (ja) 2023-09-07
US20210132788A1 (en) 2021-05-06
JP2021099857A (ja) 2021-07-01
US10698603B2 (en) 2020-06-30
CN111766943A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
JP7296415B2 (ja) レーダーシステムを備えるスマートフォン、システムおよび方法
EP3750034B1 (en) Smartphone-based radar system for determining user intention in a lower-power mode
WO2020040968A1 (en) Smartphone, system and method comprising a radar system
CN111512276B (zh) 用于基于雷达的应用的雷达图像整形器
EP3936980A1 (en) Input methods for mobile devices
WO2021040749A1 (en) Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
CN113874812A (zh) 用于多输入模式的输入模式通知

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7296415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150