JP7296415B2 - レーダーシステムを備えるスマートフォン、システムおよび方法 - Google Patents
レーダーシステムを備えるスマートフォン、システムおよび方法 Download PDFInfo
- Publication number
- JP7296415B2 JP7296415B2 JP2021037423A JP2021037423A JP7296415B2 JP 7296415 B2 JP7296415 B2 JP 7296415B2 JP 2021037423 A JP2021037423 A JP 2021037423A JP 2021037423 A JP2021037423 A JP 2021037423A JP 7296415 B2 JP7296415 B2 JP 7296415B2
- Authority
- JP
- Japan
- Prior art keywords
- radar
- touch input
- gesture
- smartphone
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
- G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
- G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/424—Stacked beam radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/426—Scanning radar, e.g. 3D radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/288—Coherent receivers
- G01S7/2883—Coherent receivers using FFT processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/356—Receivers involving particularities of FFT processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Description
通信、ナビゲーション、買い物、ゲームプレー、拡張現実(AR)インタラクション、および他の多くの機能のために、スマートフォンなどの電子デバイスが用いられる。ユーザは、タッチ入力で電子デバイス上のアプリケーションとインタラクトすることが典型的である。これらのアプリケーションが提供可能な機能は広範囲にわたるため、多段階、または他の態様では複雑な入力をユーザが提供する必要がますます一般的になってきている。ジェスチャ認識技術は、ジェスチャがタッチスクリーンおよびタッチパッドなどのデバイスの表面を通して行われる場合、電子デバイスとのより複雑でないジェスチャインタラクションを可能にしている。しかしながら、タッチ入力インターフェースでさらに複雑な入力を提供するための電子デバイスとのインタラクションは、不便で、効果的でなく、不愉快なことがある。
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術ならびにシステムについて説明する。これらの技術およびシステムは、レーダーフィールドを用いて、スマートフォンなどの電子デバイスのディスプレイに呈示される拡張現実(AR)オブジェクトとインタラクトするために使用可能な3次元(3D)ジェスチャを正確に求める。これらの技術によって、ユーザは、遠くから3Dジェスチャを行うことが可能になる、つまり、ユーザは、スクリーンをタッチしながら電子デバイスを安定して保持する必要がなく、ジェスチャは、ディスプレイに呈示されるARオブジェクトのユーザの視点を遮ることはない。
レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、レーダーベースアプリケーションは、ディスプレイの固定場所にタッチ入力コントローラを維持する。
概観
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術およびシステムについて説明する。説明されるように、2次元(2D)タッチスクリーンを用いて3次元(3D)オブジェクトを操作するのは困難なため、タッチ入力インターフェースを用いて拡張現実(AR)アプリケーションのための複雑な入力を行うことは難しいことがある。それゆえ、タッチ入力方法に限界があるために、ユーザは、ARアプリケーションの全潜在能力を実現できない場合がある。これらの技術およびシステムは、3次元(3D)ジェスチャ(たとえば、レーダーフィールドによって照射される3D空間内の任意の方向の1つ以上の移動を含むジェスチャ)を正確に判断するために、レーダーフィールドを用いる。3Dジェスチャは、拡張現実(AR)オブジェクトとインタラクトするために使用可能である。特定の文脈で他の態様で示されていない限り、高い精度は洗練の度合いが高いこと、真実により適合すること、または、洗練の度合いが高いことと真実により適合することとの両方を表す。これらの技術およびシステムは、電子デバイスに電子デバイスの周囲の3D空間において行われるジェスチャを認識させるためにレーダーフィールドを用いるため、ユーザは、スクリーンをタッチする必要がない、または、ディスプレイに呈示されるオブジェクトの視点を遮る必要もない。
クトを見るためにデバイスを回りに動かすと、ARコンテンツは、2Dタッチ入力コントローラとしてディスプレイに呈示され得る一方で、リアルオブジェクトはディスプレイにおいてフレーム化される。たとえば、家具店における観葉植物についてのARコンテンツは、製品情報と購入選択とを含み得る。上述の技術を有するレーダーフィールドを用いて、電子デバイスは、ユーザがディスプレイ上の2Dタッチ入力コントローラに向かっていると判断し、タッチ入力コントローラを特定の場所において2Dタッチスクリーンに固定またはロックすることができる。これによって、ユーザは、リアルオブジェクトがディスプレイにおいてフレーム化されなくなるように電子デバイスを移動させる場合であっても、コントローラとインタラクションが可能である。さらに、これらの技術およびシステムによって、デバイスは、3次元でARオブジェクトを操作するために使用可能な3Dジェスチャを判断可能である。それによって、これらの技術は、ユーザの視点を遮ることなく、3Dオブジェクトとインタラクトするための便利で自然な3Dジェスチャを可能にすることによってARアプリケーションを用いるときの、ユーザの効率、ワークフロー、および楽しみを改善する。
図1は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の例100を示す図である。環境の例100は、レーダーシステム104、レーダーベースアプリケーション106、およびディスプレイ108を備える、またはこれらと関連付けられたスマートフォン102を含む。レーダーシステム104のいくつかの実施形態は、低電力の必要性、処理効率の必要性、アンテナ要素の間隔および配置における制限などの問題ならびに他の問題などが集まる、スマートフォン102などのスマートフォンの文脈において適用されると特に有利であり、特に、細かい手のジェスチャのレーダー検出が望まれるスマートフォンの文脈でさらに有利である。実施形態は、レーダーで検出された手のジェスチャを必要とするスマートフォンの上述の文脈で特に有利であるが、本発明の特徴および利点の適用可能性は必ずしもそのように限定されておらず、他の種類の電子デバイスを含む他の実施形態も本発明の教示の範囲内であることが認められるべきである。
とえば、0.25フィート/秒(fps)、0.5fps、または0.75fps)を超える速度でディスプレイ108に向かって移動していると判断されると、固定場所でタッチ入力コントローラを提供可能である。それゆえ、スマートフォン102は、レーダーシステム104およびレーダーベースアプリケーション106と連携して、ARアプリケーションのユーザに、効果的におよび便利にAR環境においてタッチ入力を使用させることができる。
ッサ202)、またはこれらの組合わせとして実現可能である。スマートフォン102のコンピュータ可読媒体204内に含まれ得る、またはこれとは別であり得るシステム媒体310は、以下のモジュール、すなわち、減衰ミティゲータ314、デジタルビームフォーマ316、角度推定器318、または電力マネージャ320のうち1つ以上を含む。これらのモジュールは、スマートフォン102内のレーダーシステム104の統合を補償可能、またはその効果を緩和可能であり、それによって、レーダーシステム104は、小さいまたは複雑なジェスチャの認識、ユーザの異なるオリエンテーションの区別、連続した外部環境の監視、または誤警報率の認識が可能である。これらの特徴によって、レーダーシステム104は、図2に示すデバイスのようなさまざまな異なるデバイス内で実現可能である。
テムを備えるスマートフォン、システム、および方法を実現するためにレーダーベースアプリケーション106によって利用可能な情報を含む。
90°~90°、または最大で約-180°~180°の角度を監視させるデジタルビームフォーマ316と角度推定器318とを含む。これらの角度範囲は、1つ以上の方向(たとえば、方位および/または高度)にわたって適用可能である。したがって、レーダーシステム104は、レーダー信号の中央波長の半分よりも小さい、大きい、またはこれと等しい要素の間隔を含む、さまざまな異なるアンテナアレイ設計について低い誤警報率を実現可能である。
ィに基づいて一緒に管理されるように、異なる電力モード間で動的に切替える。一般に、電力マネージャ320は、電力がいつどのように保存されるかを決定し、徐々に消費電力を調節して、レーダーシステム104をスマートフォン102の電力制限内で操作させることができる。いくつかの例では、電力マネージャ320は、残っている利用可能な電力量を監視することができ、それに応じてレーダーシステム104の動作を調節することができる。たとえば、残りの電力量が少ない場合、電力マネージャ320は、より高い電力モードに切替えるのではなく、低電力モードで動作を続けることができる。
ペクトルの量は、レーダーシステム104の目標角度精度または演算の制限に基づいて求めることができる。
が、第1の角位置630-1に位置する目標について示される。同様に、第2の振幅応答628-2(点線で示される)が、第2の角位置630-2に位置する目標について示される。この例では、これらの相違は、-180°~180°の角度にわたって考慮される。
速度を含む角位置を求めるために、他のデータも使用可能である。場合によっては、追跡モジュール640は、アルファベータトラッカー、カルマンフィルタ、多重仮説トラッカー(HMT)などを含み得る。
また、上述のように、本明細書で説明される技術およびシステムは、拡張現実(AR)オブジェクトを操作するために使用可能な3次元(3D)ジェスチャをデバイスに判断させることができる。
ケーション(たとえば、レーダーベースアプリケーション106)のうちいずれかでもよい。AR要素706を選択するために受信された入力は、スマートフォン102のタッチスクリーンを通して受信された音声入力またはタッチ入力でもよい。さらに、レーダーベースアプリケーション702は、レーダーデータに基づいて、レーダーフィールド110(たとえば、ユーザの手または体の他の一部)内のオブジェクト704によって行われたジェスチャを判断可能であり、判断されたジェスチャに対応する、選択されたAR要素706に関連する動作を行い得る。ジェスチャを判断するために用いられるレーダーデータは、AR要素706を選択する入力がレーダーベースアプリケーション702によって受信された後に受信される反射の分析に基づくレーダーデータである。いくつかの実現例では、判断されたジェスチャは、3Dジェスチャ(たとえば、レーダーフィールド110によって照射された3D空間内における、いずれかの方向の1つ以上の移動を含むジェスチャ)でもよい。
入するために、フリック動作を用いてもよい。
図10および図11は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の例1000を示す図である。方法1000は、レーダーフィールドを提供するためにレーダーシステムを用いる電子デバイスを用いて行うことができる。レーダーフィールドは、レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動していると判断するために用いられ、さまざまなタッチ入力コントローラの場所を、オブジェクトがレーダーシステムに向かって移動しているという判断に応じて特定の場所に固定することができる。方法100は、行われる動作を指定するがそれぞれのブロックによる動作を行うために示された順番または組合せに必ずしも限定されない、一連のブロックとして示されている。さらに、広範囲の付加的なおよび/または代替的な方法を提供するために、動作の1つ以上の繰返し、組合せ、認識、または関連付けが行われ得る。以下の説明の部分では、図1の動作環境の例100または図2~図9に詳細に説明されているようなエンティティもしくはプロセスが参照されてもよいが、それらの参照は例示に過ぎない。これらの技術は、1つのデバイスで動作する1つのエンティティまたは複数のエンティティによる実行に制限されない。
をディスプレイ108に呈示している(画像120-2は、破線矢印で示されている)。レーダーベースアプリケーション106はまた、タッチ入力コントローラ118を含むAR要素116を、ディスプレイ108のコーナー付近の場所に呈示している。
図13は、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、前述の図1~図12を参照して説明されるいずれかの種類のクライアント、サーバ、および/または電子デバイスとして実現可能なコンピューティングシステムの例1300のさまざまなコンポーネントを示す図である。
任意のコンテンツおよび/またはデータソースから受信された他の種類の音声、映像、および/または画像データなどの、それを介して任意の種類のデータ、メディアコンテンツ、および/または入力を受信可能な1つ以上のデータ入力1306を含む。
有し得る。
例1:スマートフォンであって、ディスプレイと、ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、レーダーシステムは、レーダーフィールドを提供し、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析し、および、反射の分析に基づいて、レーダーデータを提供するように構成され、スマートフォンはさらに、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶された、1つ以上のコンピュータ可読媒体とを備え、レーダーベースアプリケーションは、スマートフォンのディスプレイを通して、タッチ入力コントローラを含みリアルオブジェクトに関連する拡張現実(AR)要素を呈示するように構成され、リアルオブジェクトの画像がディスプレイに呈示され、レーダーベースアプリケーションはさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイ上の固定場所に維持する。
例15:判断されたジェスチャは3次元(3D)ジェスチャである、例13または14に記載のシステム。
に備える、例23~25の少なくとも1つに記載の方法。
レーダーシステムを備えるスマートフォン、システム、および方法のための技術、ならびにこれらを可能にする装置の実現例について、特徴および/または方法に特有の言語で説明したが、添付の請求項の範囲の主題が必ずしも上述の特定の特徴または方法に制限されるわけではない。そうではなく、特定の特徴および方法は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする実現例として開示されている。
Claims (11)
- スマートフォンであって、
ディスプレイと、
ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、前記レーダーシステムは、
レーダーフィールドを提供し、
前記レーダーフィールド内のオブジェクトからの反射を検知し、
前記レーダーフィールド内の前記オブジェクトからの前記反射を分析し、および、
前記反射の前記分析に基づいて、レーダーデータを提供するように構成され、前記スマートフォンはさらに、
1つ以上のコンピュータプロセッサと、
前記1つ以上のコンピュータプロセッサによる実行に応じて、
前記スマートフォンの前記ディスプレイを通して、タッチ入力を受信可能なユーザインターフェースを呈示し、
前記ユーザインターフェースを通してタッチ入力を受信し、
前記タッチ入力に対応し、かつ結果を生じるアクションを行い、
前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断し、および、
判断された前記ジェスチャに対応し、かつ前記タッチ入力に対応する前記アクションの前記結果と関連する他のアクションを行うように構成された命令が記憶された、1つ以上のコンピュータ可読媒体とを備え、
前記レーダーフィールド内の前記オブジェクトはユーザであり、
前記タッチ入力は、前記ユーザインターフェースに沿った指のタッチおよびスライドを含み、
前記タッチ入力に対応する前記アクションの前記結果は、前記ディスプレイ上でのラインの表示であり、前記ラインは、前記スライドの形状に対応する形状を有し、
判断された前記ジェスチャに対応する前記他のアクションは、前記ラインに対する変更を含み、前記変更は、
前記ラインの太さを増加または減少させること、
前記ラインの色を変更すること、
前記ラインの長さを増加または減少させること、または、
前記ラインのパターンを変更することのうちの少なくとも1つを含む、スマートフォン。 - スマートフォンであって、
ディスプレイと、
ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、前記レーダーシステムは、
レーダーフィールドを提供し、
前記レーダーフィールド内のオブジェクトからの反射を検知し、
前記レーダーフィールド内の前記オブジェクトからの前記反射を分析し、および、
前記反射の前記分析に基づいて、レーダーデータを提供するように構成され、前記スマートフォンはさらに、
1つ以上のコンピュータプロセッサと、
前記1つ以上のコンピュータプロセッサによる実行に応じて、
前記スマートフォンの前記ディスプレイを通して、タッチ入力を受信可能なユーザインターフェースを呈示し、
前記ユーザインターフェースを通してタッチ入力を受信し、
前記タッチ入力に対応し、かつ結果を生じるアクションを行い、
前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断し、および、
判断された前記ジェスチャに対応し、かつ前記タッチ入力に対応する前記アクションの前記結果と関連する他のアクションを行うように構成された命令が記憶され、
前記レーダーフィールド内の前記オブジェクトはユーザであり、
前記タッチ入力は、表示されたテキストの部分の付近の前記ユーザインターフェースに対する前記ユーザの2本以上の指のタッチと、前記ユーザインターフェースに対する前記タッチを維持しつつ、前記指を分離させるのに効果的な前記指の1本以上のスライドとを含み、
前記タッチ入力に対応する前記アクションの前記結果は、前記タッチ入力が行われる表示されたテキストの前記部分の選択であり、
判断された前記ジェスチャは、選択された前記テキストに対して動作を行う3次元(3D)ジェスチャであり、
前記3Dジェスチャは、第1のピンチジェスチャを含み、
選択された前記テキストに対して行われる前記動作は、選択された前記テキストのコピーであり、
前記命令はさらに、
他のタッチ入力を前記ユーザインターフェースを介して受信するように構成され、前記他のタッチ入力は、前記他のタッチ入力に対応する場所において前記ユーザインターフェース上にカーソルを置くのに効果的であり、前記命令はさらに、
前記レーダーデータに基づいて、前記ユーザによる他のジェスチャを判断するように構成され、前記他のジェスチャは第2のピンチジェスチャを含み、前記命令はさらに、
前記第2のピンチジェスチャの判断に応じて、前記他のタッチ入力に対応する前記場所において選択された前記テキストをペーストすることを含む他の動作を行うように構成された、スマートフォン。 - 前記タッチ入力に対応する前記アクションは、図画ベースアプリケーションによるアクションを含み、
判断された前記ジェスチャに対応する前記他のアクションは、前記図画ベースアプリケーションに関連する、請求項2に記載のスマートフォン。 - 判断された前記ジェスチャに対応し、かつ前記図画ベースアプリケーションと関連する前記他のアクションは、
前記図画ベースアプリケーションを用いて作成された図画の新しい要素の作成、
前記図画ベースアプリケーションを用いて作成された前記図画の既存の要素に対する変更、
前記図画ベースアプリケーションを用いて作成された前記図画を表すデータファイルに対して行われる動作、または、
前記図画ベースアプリケーションのメニューとのインタラクションのうちの1つまたは複数を含む、請求項3に記載のスマートフォン。 - 前記タッチ入力は、前記ユーザインターフェースに沿った指のタッチおよびスライドを含み、
前記タッチ入力に対応する前記アクションの前記結果は、前記ディスプレイ上でのラインの表示であり、前記ラインは、前記スライドの形状に対応する形状を有し、
判断された前記ジェスチャに対応する前記他のアクションは、前記ラインに対する変更を含み、前記変更は、
前記ラインの太さを増加または減少させること、
前記ラインの色を変更すること、
前記ラインの長さを増加または減少させること、または、
前記ラインのパターンを変更することのうちの少なくとも1つを含む、請求項2に記載のスマートフォン。 - 判断された前記ジェスチャは、
ダイアルを回すジェスチャ、または、
スピンドルをねじるジェスチャを含む3次元(3D)ジェスチャである、請求項1または請求項2に記載のスマートフォン。 - 前記タッチ入力に対応する前記アクションは、テキストベースアプリケーションによるアクションを含み、
判断された前記ジェスチャに対応する前記他のアクションは、前記テキストベースアプリケーションに関連する、請求項1または請求項2に記載のスマートフォン。 - 判断された前記ジェスチャに対応する前記他のアクションは、
前記テキストベースアプリケーションに対する変更、
前記テキストベースアプリケーション内の新しいテキストの作成、
前記テキストベースアプリケーション内の前記テキストを表すデータファイルに対して行われる動作、または、
前記テキストベースアプリケーションのメニューとのインタラクションのうちの1つまたは複数を含む、請求項7に記載のスマートフォン。 - 前記タッチ入力は、表示されたテキストの部分の付近の前記ユーザインターフェースに対する前記ユーザの2本以上の指のタッチと、前記ユーザインターフェースに対する前記タッチを維持しつつ、前記指を分離させるのに効果的な前記指の1本以上のスライドとを含み、
前記タッチ入力に対応する前記アクションの前記結果は、前記タッチ入力が行われる表示されたテキストの前記部分の選択であり、
判断された前記ジェスチャは、選択された前記テキストに対して動作を行う3次元(3D)ジェスチャである、請求項1に記載のスマートフォン。 - 前記3Dジェスチャは、第1のピンチジェスチャを含み、
選択された前記テキストに対して行われる前記動作は、選択された前記テキストのコピーであり、
前記命令はさらに、
他のタッチ入力を前記ユーザインターフェースを介して受信するように構成され、前記他のタッチ入力は、前記他のタッチ入力に対応する場所において前記ユーザインターフェース上にカーソルを置くのに効果的であり、前記命令はさらに、
前記レーダーデータに基づいて、前記ユーザによる他のジェスチャを判断するように構成され、前記他のジェスチャは第2のピンチジェスチャを含み、前記命令はさらに、
前記第2のピンチジェスチャの判断に応じて、前記他のタッチ入力に対応する前記場所において選択された前記テキストをペーストすることを含む他の動作を行うように構成された、請求項9に記載のスマートフォン。 - 前記レーダーシステムはさらに、デジタルビームフォーマと角度推定器とを含み、前記レーダーシステムは、約-90°~約90°の視野における角度を監視するように構成された、請求項1~請求項10のいずれか1項に記載のスマートフォン。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022091665A JP7340656B2 (ja) | 2018-08-24 | 2022-06-06 | 電子機器およびソフトウェアプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/112,130 US10698603B2 (en) | 2018-08-24 | 2018-08-24 | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
US16/112,130 | 2018-08-24 | ||
JP2020517425A JP6851547B2 (ja) | 2018-08-24 | 2019-08-05 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517425A Division JP6851547B2 (ja) | 2018-08-24 | 2019-08-05 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022091665A Division JP7340656B2 (ja) | 2018-08-24 | 2022-06-06 | 電子機器およびソフトウェアプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099857A JP2021099857A (ja) | 2021-07-01 |
JP7296415B2 true JP7296415B2 (ja) | 2023-06-22 |
Family
ID=67660474
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517425A Active JP6851547B2 (ja) | 2018-08-24 | 2019-08-05 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
JP2020090667A Active JP6861311B2 (ja) | 2018-08-24 | 2020-05-25 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
JP2021037423A Active JP7296415B2 (ja) | 2018-08-24 | 2021-03-09 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
JP2022091665A Active JP7340656B2 (ja) | 2018-08-24 | 2022-06-06 | 電子機器およびソフトウェアプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517425A Active JP6851547B2 (ja) | 2018-08-24 | 2019-08-05 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
JP2020090667A Active JP6861311B2 (ja) | 2018-08-24 | 2020-05-25 | レーダーシステムを備えるスマートフォン、システムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022091665A Active JP7340656B2 (ja) | 2018-08-24 | 2022-06-06 | 電子機器およびソフトウェアプログラム |
Country Status (7)
Country | Link |
---|---|
US (3) | US10698603B2 (ja) |
EP (2) | EP3722928A1 (ja) |
JP (4) | JP6851547B2 (ja) |
KR (3) | KR102318343B1 (ja) |
CN (3) | CN111766943A (ja) |
TW (1) | TWI738022B (ja) |
WO (1) | WO2020040966A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017131114A1 (de) * | 2017-12-22 | 2019-06-27 | S.M.S, Smart Microwave Sensors Gmbh | Verfahren und Vorrichtung zum Bestimmen wenigstens eines Parameters eines Objektes |
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10770035B2 (en) | 2018-08-22 | 2020-09-08 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
US10698603B2 (en) | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
US10788880B2 (en) | 2018-10-22 | 2020-09-29 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
US11494051B1 (en) * | 2018-11-01 | 2022-11-08 | Intuit, Inc. | Image template-based AR form experiences |
US10761611B2 (en) | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
US11082535B2 (en) * | 2018-12-20 | 2021-08-03 | Here Global B.V. | Location enabled augmented reality (AR) system and method for interoperability of AR applications |
US11442550B2 (en) * | 2019-05-06 | 2022-09-13 | Samsung Electronics Co., Ltd. | Methods for gesture recognition and control |
CA3169785A1 (en) * | 2020-03-06 | 2021-09-10 | Stuart Graydon | Computer enhanced maintenance system |
US20210405179A1 (en) * | 2020-06-25 | 2021-12-30 | Lassen Peak, Inc. | Systems and Methods for Noninvasive Detection of Impermissible Objects |
EP4179411A1 (en) | 2020-07-10 | 2023-05-17 | Telefonaktiebolaget LM ERICSSON (PUBL) | Visual feedback from a user equipment |
KR20220009207A (ko) | 2020-07-15 | 2022-01-24 | 삼성전기주식회사 | 고주파 모듈을 포함하는 전자 기기 |
EP3944107A1 (en) | 2020-07-22 | 2022-01-26 | Nokia Technologies Oy | Apparatus, method and computer program for authenticating images |
TWI760808B (zh) * | 2020-08-04 | 2022-04-11 | 何忠誠 | 雷達距離探測裝置與方法 |
KR102322817B1 (ko) * | 2020-09-10 | 2021-11-08 | 한국항공대학교산학협력단 | 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법 |
US11928263B2 (en) | 2020-12-07 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device for processing user input and method thereof |
KR20220080399A (ko) * | 2020-12-07 | 2022-06-14 | 삼성전자주식회사 | 사용자 입력을 처리하는 전자 장치 및 방법 |
CN112904999A (zh) * | 2020-12-30 | 2021-06-04 | 江苏奥格视特信息科技有限公司 | 一种基于激光雷达的增强现实体感交互方法及系统 |
US11474232B2 (en) | 2021-03-19 | 2022-10-18 | KaiKuTek Inc. | Range doppler angle detection method and range doppler angle detection device |
TWI756122B (zh) * | 2021-04-30 | 2022-02-21 | 開酷科技股份有限公司 | 距離都卜勒雷達角度感測方法及裝置 |
US20230096207A1 (en) * | 2021-09-29 | 2023-03-30 | The Adt Security Corporation | Gesture based interface for a premises security system |
CN113918015B (zh) * | 2021-10-08 | 2024-04-19 | 三星电子(中国)研发中心 | 一种增强现实的交互方法和装置 |
TWI804072B (zh) * | 2021-11-26 | 2023-06-01 | 國立陽明交通大學 | 使用毫米波雷達的即時物件運動狀態辨識方法 |
WO2024057375A1 (ja) * | 2022-09-13 | 2024-03-21 | 三菱電機株式会社 | 機械学習による位置推定部を備える操作パネル装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237951A (ja) | 2008-03-27 | 2009-10-15 | Nissha Printing Co Ltd | プレゼンテーションシステム |
US20120280900A1 (en) | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
JP2013546066A (ja) | 2011-09-27 | 2013-12-26 | イーロ・タッチ・ソリューションズ・インコーポレイテッド | デバイスとのユーザのタッチ及び非タッチベースのインタラクション |
JP2015203835A (ja) | 2014-04-16 | 2015-11-16 | 株式会社日立システムズ | テキスト編集装置、テキスト編集方法、及びプログラム |
JP2016035625A (ja) | 2014-08-01 | 2016-03-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2017018388A1 (ja) | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
Family Cites Families (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
JPH11338120A (ja) * | 1998-05-27 | 1999-12-10 | Dainippon Screen Mfg Co Ltd | レイアウト装置 |
US7511630B2 (en) | 1999-05-04 | 2009-03-31 | Intellimat, Inc. | Dynamic electronic display system with brightness control |
US6971072B1 (en) | 1999-05-13 | 2005-11-29 | International Business Machines Corporation | Reactive user interface control based on environmental sensing |
JP3518431B2 (ja) | 1999-07-21 | 2004-04-12 | トヨタ自動車株式会社 | 物体検出装置及びシステム |
US7085253B2 (en) | 2001-11-02 | 2006-08-01 | Samsung Electronics Co., Ltd. | System and method for notifying a user of the status of other mobile terminals |
US20070015559A1 (en) | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
US7434169B2 (en) | 2002-11-25 | 2008-10-07 | Aol Llc, A Delaware Limited Liability Company | Facilitating communications between computer users across a network |
IL156629A0 (en) | 2003-06-25 | 2004-01-04 | A method and a system for control over unauthorized persons | |
US7199749B2 (en) | 2003-12-12 | 2007-04-03 | Georgia Tech Research Corporation | Radar detection device employing a scanning antenna system |
US7301494B2 (en) | 2004-05-03 | 2007-11-27 | Jeffrey Waters | Combination cellular telephone and radar detector |
JP2006013819A (ja) | 2004-06-24 | 2006-01-12 | Fujitsu Ltd | レーダ用レフレクタ |
KR101019569B1 (ko) | 2005-08-29 | 2011-03-08 | 에브릭스 테크놀로지스, 인코포레이티드 | 모바일 이미지 인식을 통한 상호작용 |
EP1946203A2 (en) | 2005-10-26 | 2008-07-23 | Sony Computer Entertainment America, Inc. | System and method for interfacing with a computer program |
TW200731743A (en) | 2006-02-15 | 2007-08-16 | Asustek Comp Inc | Mobile device capable of adjusting volume dynamically and related method |
US20080029316A1 (en) | 2006-08-07 | 2008-02-07 | Denny Jaeger | Method for detecting position of input devices on a screen using infrared light emission |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
KR100984230B1 (ko) | 2008-03-20 | 2010-09-28 | 엘지전자 주식회사 | 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법 |
US8723811B2 (en) * | 2008-03-21 | 2014-05-13 | Lg Electronics Inc. | Mobile terminal and screen displaying method thereof |
US20090322690A1 (en) | 2008-06-30 | 2009-12-31 | Nokia Corporation | Screen display |
JP2010038607A (ja) | 2008-08-01 | 2010-02-18 | Hitachi Ltd | 検出装置および鉄道車両 |
TWI384850B (zh) | 2008-12-25 | 2013-02-01 | Inventec Appliances Corp | 手機及自動切換手機來電提示之方法 |
US8243724B2 (en) | 2009-02-18 | 2012-08-14 | MBTE Holdings Sweden AB | Enhanced calling features |
US7924212B2 (en) | 2009-08-10 | 2011-04-12 | Robert Bosch Gmbh | Method for human only activity detection based on radar signals |
US20110181510A1 (en) | 2010-01-26 | 2011-07-28 | Nokia Corporation | Gesture Control |
US9335825B2 (en) * | 2010-01-26 | 2016-05-10 | Nokia Technologies Oy | Gesture control |
AU2011220382A1 (en) * | 2010-02-28 | 2012-10-18 | Microsoft Corporation | Local advertising content on an interactive head-mounted eyepiece |
KR20110101585A (ko) | 2010-03-09 | 2011-09-16 | 삼성전자주식회사 | 휴대용 단말기의 화면 전환 장치 및 방법 |
US20110237274A1 (en) | 2010-03-25 | 2011-09-29 | Palm, Inc. | Mobile computing device having relative positioning circuit |
US8860672B2 (en) * | 2010-05-26 | 2014-10-14 | T-Mobile Usa, Inc. | User interface with z-axis interaction |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
KR101330811B1 (ko) * | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
US9569003B2 (en) | 2010-09-30 | 2017-02-14 | Broadcom Corporation | Portable computing device including a three-dimensional touch screen |
US8723986B1 (en) | 2010-11-04 | 2014-05-13 | MCube Inc. | Methods and apparatus for initiating image capture on a hand-held device |
TW201228332A (en) | 2010-12-20 | 2012-07-01 | Hui-Chuan Chien | Mobile electronic device |
US8803697B2 (en) | 2011-05-13 | 2014-08-12 | Nokia Corporation | Detecting movement for determining characteristics of user notification |
KR101853277B1 (ko) | 2011-07-18 | 2018-04-30 | 삼성전자 주식회사 | 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기 |
EP2560145A3 (en) * | 2011-08-18 | 2017-03-15 | Layar B.V. | Methods and systems for enabling the creation of augmented reality content |
US20130053007A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Gesture-based input mode selection for mobile devices |
US20130057571A1 (en) | 2011-09-02 | 2013-03-07 | Nokia Siemens Networks Oy | Display Orientation Control |
JP2014531662A (ja) * | 2011-09-19 | 2014-11-27 | アイサイト モバイル テクノロジーズ リミテッド | 拡張現実システムのためのタッチフリーインターフェース |
US20180032997A1 (en) | 2012-10-09 | 2018-02-01 | George A. Gordon | System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device |
CA2853033C (en) | 2011-10-21 | 2019-07-16 | Nest Labs, Inc. | User-friendly, network connected learning thermostat and related systems and methods |
US20130120458A1 (en) | 2011-11-16 | 2013-05-16 | Microsoft Corporation | Detecting screen orientation by using one or more proximity sensors |
JP2013125328A (ja) * | 2011-12-13 | 2013-06-24 | Stella Green Corp | 拡張現実感表示方法 |
KR101371547B1 (ko) | 2012-03-08 | 2014-03-07 | 삼성전자주식회사 | 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법 |
CN103383607B (zh) * | 2012-05-02 | 2017-03-01 | 国际商业机器公司 | 用于对触摸屏设备中的所显示内容进行钻取的方法和系统 |
US9494973B2 (en) | 2012-05-09 | 2016-11-15 | Blackberry Limited | Display system with image sensor based display orientation |
JP5477424B2 (ja) | 2012-07-02 | 2014-04-23 | 沖電気工業株式会社 | 物体検知装置、物体検知方法及びプログラム |
US20140046922A1 (en) * | 2012-08-08 | 2014-02-13 | Microsoft Corporation | Search user interface using outward physical expressions |
US9317972B2 (en) * | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
US9632584B2 (en) | 2013-01-08 | 2017-04-25 | 2236008 Ontario Inc. | On-demand user control |
US20150370443A1 (en) * | 2013-02-12 | 2015-12-24 | Inuitive Ltd. | System and method for combining touch and gesture in a three dimensional user interface |
US20140267130A1 (en) | 2013-03-13 | 2014-09-18 | Microsoft Corporation | Hover gestures for touch-enabled devices |
KR102091028B1 (ko) * | 2013-03-14 | 2020-04-14 | 삼성전자 주식회사 | 사용자 기기의 오브젝트 운용 방법 및 장치 |
JP5790692B2 (ja) | 2013-03-29 | 2015-10-07 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
US20140315531A1 (en) | 2013-04-17 | 2014-10-23 | Donald Joong | System & method for enabling or restricting features based on an attention challenge |
US9075435B1 (en) | 2013-04-22 | 2015-07-07 | Amazon Technologies, Inc. | Context-aware notifications |
US9733677B2 (en) | 2013-05-08 | 2017-08-15 | Ran Geva | Motion-based message display |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US20140347188A1 (en) | 2013-05-22 | 2014-11-27 | Motorola Mobility Llc | Auto-adjust of indication characteristics based on user proximity |
TWI547626B (zh) | 2013-05-31 | 2016-09-01 | 原相科技股份有限公司 | 具有手勢感測器的裝置 |
KR102160767B1 (ko) | 2013-06-20 | 2020-09-29 | 삼성전자주식회사 | 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법 |
US9589565B2 (en) | 2013-06-21 | 2017-03-07 | Microsoft Technology Licensing, Llc | Environmentally aware dialog policies and response generation |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
US9058738B1 (en) | 2013-07-26 | 2015-06-16 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
US20150036999A1 (en) | 2013-07-30 | 2015-02-05 | Texas Instruments Incorporated | Viewer Attention Controlled Video Playback |
EP2887092A1 (en) | 2013-12-18 | 2015-06-24 | BAE SYSTEMS plc | Computing radar cross section |
US20150187137A1 (en) | 2013-12-31 | 2015-07-02 | Daqri, Llc | Physical object discovery |
JP5899251B2 (ja) * | 2014-01-29 | 2016-04-06 | 本田技研工業株式会社 | 車両用入力装置 |
US20160118036A1 (en) | 2014-10-23 | 2016-04-28 | Elwha Llc | Systems and methods for positioning a user of a hands-free intercommunication system |
US10338800B2 (en) | 2014-02-21 | 2019-07-02 | FLIR Belgium BVBA | Enhanced pilot display systems and methods |
US9921657B2 (en) * | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
US9575560B2 (en) * | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US10367950B2 (en) | 2014-06-11 | 2019-07-30 | Lenovo (Singapore) Pte. Ltd. | Device notification adjustment dependent on user proximity |
US20150370472A1 (en) * | 2014-06-19 | 2015-12-24 | Xerox Corporation | 3-d motion control for document discovery and retrieval |
US9497592B2 (en) | 2014-07-03 | 2016-11-15 | Qualcomm Incorporated | Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person |
US9600177B2 (en) | 2014-07-17 | 2017-03-21 | Google Technology Holdings LLC | Electronic device with gesture display control and corresponding methods |
KR20160012410A (ko) | 2014-07-24 | 2016-02-03 | 삼성전자주식회사 | 전자 장치 및 이의 출력 제어 방법 |
WO2016017978A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Device and method for performing functions |
US9811164B2 (en) * | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
US9921660B2 (en) | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
WO2016032806A1 (en) | 2014-08-26 | 2016-03-03 | Apple Inc. | User interface for limiting notifications and alerts |
CN204145834U (zh) | 2014-09-26 | 2015-02-04 | 生迪光电科技股份有限公司 | 智能照明装置及照明系统 |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
US20160103655A1 (en) * | 2014-10-08 | 2016-04-14 | Microsoft Corporation | Co-Verbal Interactions With Speech Reference Point |
US9911235B2 (en) * | 2014-11-14 | 2018-03-06 | Qualcomm Incorporated | Spatial interaction in augmented reality |
CN104793731A (zh) * | 2015-01-04 | 2015-07-22 | 北京君正集成电路股份有限公司 | 可穿戴设备的信息输入方法及可穿戴设备 |
KR102256676B1 (ko) | 2015-02-06 | 2021-05-26 | 삼성전자주식회사 | 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스 |
US9817109B2 (en) | 2015-02-27 | 2017-11-14 | Texas Instruments Incorporated | Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution |
US10481696B2 (en) | 2015-03-03 | 2019-11-19 | Nvidia Corporation | Radar based user interface |
JP2016205907A (ja) | 2015-04-20 | 2016-12-08 | 株式会社Ihiエアロスペース | コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。 |
CN111522434A (zh) * | 2015-04-30 | 2020-08-11 | 谷歌有限责任公司 | 用于手势跟踪和识别的基于rf的微运动跟踪 |
EP3289434A1 (en) * | 2015-04-30 | 2018-03-07 | Google LLC | Wide-field radar-based gesture recognition |
US10134368B2 (en) | 2015-06-04 | 2018-11-20 | Paypal, Inc. | Movement based graphical user interface |
US9691361B2 (en) | 2015-08-03 | 2017-06-27 | International Business Machines Corporation | Adjusting presentation of content on a display |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
JP6515028B2 (ja) * | 2015-12-18 | 2019-05-15 | 本田技研工業株式会社 | 車両用操作装置 |
US20170289766A1 (en) | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Digital Assistant Experience based on Presence Detection |
US11558848B2 (en) | 2016-03-30 | 2023-01-17 | Lenovo (Singapore) Pte. Ltd. | Intelligent notification delivery |
US10613213B2 (en) | 2016-05-13 | 2020-04-07 | Google Llc | Systems, methods, and devices for utilizing radar with smart devices |
US10687184B2 (en) | 2016-05-13 | 2020-06-16 | Google Llc | Systems, methods, and devices for utilizing radar-based touch interfaces |
WO2017200571A1 (en) | 2016-05-16 | 2017-11-23 | Google Llc | Gesture-based control of a user interface |
US20170349184A1 (en) | 2016-06-06 | 2017-12-07 | GM Global Technology Operations LLC | Speech-based group interactions in autonomous vehicles |
US10353478B2 (en) * | 2016-06-29 | 2019-07-16 | Google Llc | Hover touch input compensation in augmented and/or virtual reality |
US20180018965A1 (en) | 2016-07-12 | 2018-01-18 | Bose Corporation | Combining Gesture and Voice User Interfaces |
US20180052520A1 (en) | 2016-08-19 | 2018-02-22 | Otis Elevator Company | System and method for distant gesture-based control using a network of sensors across the building |
US10299290B2 (en) | 2016-09-30 | 2019-05-21 | Intel IP Corporation | Apparatus, system and method of radar detection |
CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
KR101847295B1 (ko) * | 2016-10-31 | 2018-05-28 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치 |
US10726835B2 (en) | 2016-12-23 | 2020-07-28 | Amazon Technologies, Inc. | Voice activated modular controller |
JP2018116653A (ja) | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | 識別装置、識別システム、および識別方法 |
US11243293B2 (en) | 2017-02-07 | 2022-02-08 | Samsung Electronics Company, Ltd. | Radar-based system for sensing touch and in-the-air interactions |
US10914834B2 (en) | 2017-05-10 | 2021-02-09 | Google Llc | Low-power radar |
US10719870B2 (en) * | 2017-06-27 | 2020-07-21 | Microsoft Technology Licensing, Llc | Mixed reality world integration of holographic buttons in a mixed reality device |
US11307760B2 (en) * | 2017-09-25 | 2022-04-19 | Huawei Technologies Co., Ltd. | Terminal interface display method and terminal |
US10217488B1 (en) | 2017-12-15 | 2019-02-26 | Snap Inc. | Spherical video editing |
CN108334199A (zh) | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
US10796157B2 (en) * | 2018-03-13 | 2020-10-06 | Mediatek Inc. | Hierarchical object detection and selection |
US10579154B1 (en) | 2018-08-20 | 2020-03-03 | Google Llc | Smartphone-based radar system detecting user gestures using coherent multi-look radar processing |
US10794997B2 (en) | 2018-08-21 | 2020-10-06 | Google Llc | Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures |
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10770035B2 (en) | 2018-08-22 | 2020-09-08 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
US10698603B2 (en) | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
US10788880B2 (en) | 2018-10-22 | 2020-09-29 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
US10761611B2 (en) | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
-
2018
- 2018-08-24 US US16/112,130 patent/US10698603B2/en active Active
-
2019
- 2019-07-05 TW TW108123712A patent/TWI738022B/zh active
- 2019-08-05 CN CN202010434459.8A patent/CN111766943A/zh active Pending
- 2019-08-05 EP EP20172743.5A patent/EP3722928A1/en not_active Withdrawn
- 2019-08-05 CN CN201980004742.2A patent/CN111149079B/zh active Active
- 2019-08-05 KR KR1020207033558A patent/KR102318343B1/ko active IP Right Grant
- 2019-08-05 CN CN202110307190.1A patent/CN113220115A/zh active Pending
- 2019-08-05 JP JP2020517425A patent/JP6851547B2/ja active Active
- 2019-08-05 KR KR1020207013505A patent/KR102318342B1/ko active IP Right Grant
- 2019-08-05 EP EP19755482.7A patent/EP3673346B1/en active Active
- 2019-08-05 WO PCT/US2019/045128 patent/WO2020040966A1/en unknown
- 2019-08-05 KR KR1020207008514A patent/KR102184107B1/ko active IP Right Grant
-
2020
- 2020-05-25 JP JP2020090667A patent/JP6861311B2/ja active Active
- 2020-05-27 US US16/884,943 patent/US10936185B2/en active Active
-
2021
- 2021-01-13 US US17/148,414 patent/US11204694B2/en active Active
- 2021-03-09 JP JP2021037423A patent/JP7296415B2/ja active Active
-
2022
- 2022-06-06 JP JP2022091665A patent/JP7340656B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237951A (ja) | 2008-03-27 | 2009-10-15 | Nissha Printing Co Ltd | プレゼンテーションシステム |
US20120280900A1 (en) | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
JP2013546066A (ja) | 2011-09-27 | 2013-12-26 | イーロ・タッチ・ソリューションズ・インコーポレイテッド | デバイスとのユーザのタッチ及び非タッチベースのインタラクション |
JP2015203835A (ja) | 2014-04-16 | 2015-11-16 | 株式会社日立システムズ | テキスト編集装置、テキスト編集方法、及びプログラム |
JP2016035625A (ja) | 2014-08-01 | 2016-03-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2017018388A1 (ja) | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113220115A (zh) | 2021-08-06 |
TWI738022B (zh) | 2021-09-01 |
CN111149079B (zh) | 2021-04-02 |
WO2020040966A1 (en) | 2020-02-27 |
JP2021504771A (ja) | 2021-02-15 |
KR20200055157A (ko) | 2020-05-20 |
US20200285383A1 (en) | 2020-09-10 |
EP3673346A1 (en) | 2020-07-01 |
KR20200036944A (ko) | 2020-04-07 |
JP2022119986A (ja) | 2022-08-17 |
EP3722928A1 (en) | 2020-10-14 |
US10936185B2 (en) | 2021-03-02 |
EP3673346B1 (en) | 2021-10-06 |
TW202009650A (zh) | 2020-03-01 |
KR102318343B1 (ko) | 2021-10-27 |
JP6851547B2 (ja) | 2021-03-31 |
CN111149079A (zh) | 2020-05-12 |
US11204694B2 (en) | 2021-12-21 |
US20200064996A1 (en) | 2020-02-27 |
JP2020173817A (ja) | 2020-10-22 |
KR102318342B1 (ko) | 2021-10-27 |
KR102184107B1 (ko) | 2020-11-27 |
KR20200133832A (ko) | 2020-11-30 |
JP6861311B2 (ja) | 2021-04-21 |
JP7340656B2 (ja) | 2023-09-07 |
US20210132788A1 (en) | 2021-05-06 |
JP2021099857A (ja) | 2021-07-01 |
US10698603B2 (en) | 2020-06-30 |
CN111766943A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7296415B2 (ja) | レーダーシステムを備えるスマートフォン、システムおよび方法 | |
EP3750034B1 (en) | Smartphone-based radar system for determining user intention in a lower-power mode | |
WO2020040968A1 (en) | Smartphone, system and method comprising a radar system | |
CN111512276B (zh) | 用于基于雷达的应用的雷达图像整形器 | |
EP3936980A1 (en) | Input methods for mobile devices | |
WO2021040749A1 (en) | Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system | |
CN113874812A (zh) | 用于多输入模式的输入模式通知 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7296415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |