JP7163513B2 - 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム - Google Patents

異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム Download PDF

Info

Publication number
JP7163513B2
JP7163513B2 JP2021557064A JP2021557064A JP7163513B2 JP 7163513 B2 JP7163513 B2 JP 7163513B2 JP 2021557064 A JP2021557064 A JP 2021557064A JP 2021557064 A JP2021557064 A JP 2021557064A JP 7163513 B2 JP7163513 B2 JP 7163513B2
Authority
JP
Japan
Prior art keywords
radar
user
mode
user device
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021557064A
Other languages
English (en)
Other versions
JP2022530603A (ja
Inventor
鋭志 林
サチダナンダム,ビグネッシュ
ジュスティ,レオナルド
リエン,ジェイミー
アミフッド,パトリック・エム
プピレフ,アイバン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2022530603A publication Critical patent/JP2022530603A/ja
Priority to JP2022167523A priority Critical patent/JP7433397B2/ja
Application granted granted Critical
Publication of JP7163513B2 publication Critical patent/JP7163513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3237Power saving characterised by the action undertaken by disabling clock generation or distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Power Sources (AREA)
  • Position Input By Displaying (AREA)

Description

背景
モバイルデバイスは、処理のために利用可能なソフトウェアをますます多く有し続け、それは、電力(たとえばバッテリー電力)をますます多く消費する。消費電力の増加に対処するために、消費電力を減少させ、バッテリ寿命サイクルを延ばすためのさまざまな省電力手法が導入されてきた。いくつかの従来の省電力手法は、非アクティブ(たとえば、ユーザによるモバイルデバイスとの明示的相互作用がないこと)の期間を判断するためにタイマーを使用すること、タイマーの満了後にあるバックグラウンドアプリケーションプログラムを無効にすること、現在使用されていないアプリケーションを閉じることなどを含む。
ユーザがボタンを押してディスプレイをオンにすることを必要とすることなく、情報(たとえば通知、日時など)を表示することなどによって、モバイルデバイスがより役に立つことを可能にするいくつかの機能および機能性を、多くのモバイルデバイスが利用できるようになっている。これらの機能および機能性の欠点は、動作のために必要とされる追加の電力である。いくつかのシステムは、ユーザを検出するためにカメラを使用し、画像または映像データを処理することなどによって、ユーザがいつモバイルデバイスの近くにいるかを「認識する」ことができる。次に、その検出に基づいて情報を提示するために、ディスプレイがオンにされる。しかしながら、連続的にカメラを動作させ、画像または映像データを処理することによって消費される電力は、場合によっては、単にディスプレイをオンのままにすることに比べ、実質的に少なくならないかもしれない。したがって、現在の省電力手法は、いくつかのモバイルデバイスにとって非効率的である。
概要
この文書は、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを可能にする手法およびシステムを説明する。これらの手法およびシステムは、レーダー場を使用して、モバイルデバイスがモバイルデバイスの近くのユーザの存在または不在を正確に判断し、さらに、モバイルデバイスと暗黙的に相互作用するかまたはコミュニケーションを取るためのユーザの動きを判断することを可能にする。これらの手法を使用して、モバイルデバイスは、ユーザの非言語的コミュニケーションキューを勘案して、その環境におけるユーザの認識を判断して維持し、ユーザによる間接的相互作用に応答し、モバイルデバイスがユーザとモバイルデバイスに対するユーザの動きとを認識していることをユーザに教えることができる。加えて、モバイルデバイスは、ユーザによるモバイルデバイスとの相互作用のレベルに依存して消費電力を減少させるために、さまざまな電力状態をモバイルデバイスのコンポーネントに適用することができる。
たとえば、異なる電力状態(たとえばレーダー電力状態)がレーダーシステムに適用され、対応する電力モードがマルチモードインターフェイスに適用される。消費電力を減少させつつ、同時に、ユーザのモバイルデバイスとの相互作用を連続して「認識」して当該相互作用に応答するシステムを提供するために、異なるレーダー電力状態は、ユーザのモバイルデバイスとの間接的(暗黙的)相互作用のレベルに応答してのみ適用されてもよい。ユーザの間接的相互作用に応答することは、モバイルデバイスに対するユーザの動きに基づいて、モバイルデバイスのディスプレイ上に、マルチモードインターフェイスの異なる電力モードを使用して視覚フィードバックを提供することを含み得る。マルチモードインターフェイスは、モバイルデバイスによって実行されるアプリケーションプログラムとは別個の独立した、モバイルデバイスのデジタル環境の一部として動作し、当該一部として提供される(たとえば、マルチモードインターフェイスは、モバイルデバイスのオペレーティングシステムのための「キャンバス」として考えられてもよい)。
この概要は、以下の詳細な説明および図面においてさらに説明される、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムに関する単純化された概念を紹介するために提供される。この概要は、主張される主題の本質的特徴を識別するよう意図されてはおらず、主張される主題の範囲を定める際に使用するよう意図されてもいない。
この文書では、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムの1つ以上の局面の詳細を、以下の図面を参照して説明する。同様の機能および構成要素に言及するために、同じ番号が図面全体にわたって使用される。
異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを可能にする手法が実現され得る例示的な環境を示す図である。 レーダーシステムを含み、さまざまな電力モードをマルチモードインターフェイスに適用できる図1のモバイルデバイスの例示的な実現化例を示す図である。 コンピューティングデバイスの一部としての例示的なレーダーシステムを示す図である。 例示的なトランシーバおよびプロセッサを示す図である。 図3のレーダーシステムのための受信アンテナ素子の例示的な配置を示す図である。 図2のレーダーシステムの例示的な実現化例の追加の詳細を示す図である。 図2のレーダーシステムによって実現され得る例示的なスキームを示す図である。 例示的なレーダーパイプラインを示す図である。 異なるレーダーパイプラインをトリガするための例示的なシーケンスフロー図である。 ユーザによるモバイルデバイスとの間接的相互作用のレベルに基づいたマルチモードインターフェイスの異なる電力モードの例示的な実現化例を示す図である。 ユーザによるモバイルデバイスとの間接的相互作用のレベルに基づいたマルチモードインターフェイスの異なる電力モードの例示的な実現化例を示す図である。 ユーザによるモバイルデバイスとの間接的相互作用のレベルに基づいたマルチモードインターフェイスの異なる電力モードの別の例示的な実現化例を示す図である。 ユーザによるモバイルデバイスとの間接的相互作用のレベルに基づいたマルチモードインターフェイスの異なる電力モードのさらに別の例示的な実現化例を示す図である。 ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスの電力モードを管理するための方法を示す図である。 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを実現するか、または、当該レーダーシステムを可能にする手法が実現され得るように、図1~12を参照して説明されるような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステムを示す図である。
概略
この文書は、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを可能にする手法およびシステムを説明する。異なる電力モードをマルチモードインターフェイスに適用することにより、モバイルデバイスベースのレーダーシステムは、モバイルデバイスの消費電力を減少させつつ、モバイルデバイスがユーザの動きを認識し、微妙で面白いやり方で応答できることをユーザに教えるために、ユーザによるモバイルデバイスとの暗黙的相互作用に応答して、マルチモードインターフェイスを使用して視覚フィードバックを提供する。暗黙的相互作用またはコミュニケーションは、モバイルデバイスのまわりのユーザの存在、空間的関係、および手の動きを含む。特に、ユーザによるモバイルデバイスとの暗黙的相互作用は、デバイスに対して機能を開始または実行するよう意図されていないものの、それにもかかわらず、デバイスに対するユーザの使用状態の変化の前兆であり得る、モバイルデバイスの近くのユーザの動きである。したがって、暗黙的相互作用は、明示的または直接ユーザ入力とは考えられず、代わりに、モバイルデバイスへの入力を間接的に提供する、ユーザによるアクションである。言い換えれば、暗黙的相互作用は、直接入力を提供するよう意図されていないものの、モバイルデバイスが暗黙的または間接入力を判断するかまたは当該入力として解釈するために使用できる、モバイルデバイスの近くのユーザアクションを含む。例示的な暗黙的相互作用は、ユーザがモバイルデバイスのまわりの特定の半径を有する区域(たとえばレーダー場)に入ること、休止状態または他のより低い電力状態である間、モバイルデバイスを手に取って使うために、ユーザの手が特定のしきい値距離内のモバイルデバイスに向かって(またはモバイルデバイスから遠ざかって)伸びること、ユーザがモバイルデバイスに目を向けること、ユーザが、モバイルデバイスをより近くで見るなどのために、自分の頭を所定距離内のモバイルデバイスに向かって動かすこと、ユーザがモバイルデバイスに対面しながら自分の頭を縦または横に振ること、ユーザがレーダー場を出ること、などを含む。暗黙的相互作用とは対照的に、明示的ユーザ入力は、モバイルデバイスのタッチスクリーンへのタッチ入力、モバイルデバイス上のボタンの作動、スクリーンスワイプ、スクリーンタップ、またはスクリーンダブルタップなどのジェスチャー、もしくは、すでにアクティブであるかまたはより高い電力状態などである間、モバイルデバイスまたはモバイルデバイスのアプリケーションプログラムかユーザインターフェイス(user-interface:UI)要素と直接相互作用するように、モバイルデバイスに向かって手を伸ばすかまたはモバイルデバイスに対してウェーブなどのエアジェスチャーを行なうことを、特定の機能を開始するためにユーザによって意図されるやり方で含んでいてもよい。
説明される手法およびシステムはレーダーシステムを使用して、ユーザのモバイルデバイスとの暗黙的相互作用に対応するマルチモードインターフェイスの電力モードに基づく制限された機能性を可能にする豊かなアンビエントマルチモードインターフェイス体験を提供する。これらの手法は、明示的ユーザ入力にのみ反応するのではなく、デバイスがユーザの動きを認識し検出して面白いやり方で反応できることを示すようにユーザにフィードバックを提供する。ユーザの暗黙的相互作用は、(たとえば、デバイスがロック状態にある場合に)デバイスに対する未認証のユーザの動きを判断することによって識別されてもよい。
マルチモードインターフェイスは、たとえば、休止モード、アンビエントモード、アラートモード、およびアクティブモードを含む、いくつかの電力モードを含む。少なくとも各電力モードによって可能にされる特定の機能性に起因して、マルチモードインターフェイスのどの電力モードが現在実行中かに基づいて、さまざまなレベルの電力がモバイルデバイスの表示デバイスに提供され、または、当該表示デバイスによって消費される。
一例では、レーダーシステムがより低い電力モード(たとえばアイドルモード)である場合、モバイルデバイスも、表示デバイス、タッチスクリーン、マイク、音声アシスタントなどといったさまざまな機能の消費電力をオフにするかまたは他の態様で減少させることによって、より低い電力状態にあり得る。同時に、マルチモードインターフェイスは、インターフェイスが休止状態にあり、黒色表示、たとえば、黒画素を使用するパワーオン表示またはパワーオフ表示を提供するような休止モードであってもよい。場合によっては、マルチモードインターフェイスが、表示デバイスがオフにされ、画素を照明するために電力が表示デバイスに提供されないような休止モードである場合、表示デバイスは「オフ」状態にあると考えられる。このように、黒色表示は、黒インクに加えて他のインクカラー(たとえば白)を使用する電子インク表示を含み得る。ユーザがモバイルデバイスの近くにいない(たとえば、ユーザがモバイルデバイスの所定距離内で検出されない)場合、または、モバイルデバイスがユーザのポケット、ハンドバッグ、またはバッグの中にある(そこでは、デバイスは、それが暗い場所にあり、ユーザはモバイルデバイスと(暗黙的にまたは明示的に)相互作用していないということを検出する)場合、休止モードはマルチモードインターフェイスに適用されてもよい。
レーダーシステムが区域内のユーザを検出すると、ユーザデバイスは、レーダーシステムをアイドル電力モードから低電力の注意モードに自律的に移行させ、それに応じてマルチモードインターフェイスを休止モードからアンビエントモードに移行させる。ここで、ユーザデバイスは、デバイスの所定距離内の(たとえば、レーダーシステムのレーダー場内の)ユーザの存在を認識する。モバイルデバイスとのユーザ相互作用のレベルに基づいて消費電力を減少させるために、デバイスはより低い電力状態で動作し、ディスプレイスクリーンは低光度に設定される。ユーザは存在しているだけであるため、ユーザの相互作用は少ないが、ユーザデバイスは、ユーザデバイスがユーザの存在を検出し、追加の相互作用がないか監視していることを示すために、低光度表示を提供することができる。ここで説明されるように、光度とは、人間によって知覚されるオブジェクトの輝度を指す。光度を修正することは、輝き(たとえば輝度)、コントラスト、および/または不透明性を修正することを含んでいてもよい。低光度とは、約50%、40%、25%、15%などといった、定義済しきい値レベルよりも低い光度レベルを指してもよい。この定義済しきい値は、製造業者によって設定されてもよく、または、ユーザによって選択された設定によって定義されてもよい。高光度とは、たとえば約50%、60%、75%、85%、95%、または100%といった、定義済しきい値レベルよりも高い光度レベルを指してもよい。3(たとえば低、中、高)、4、5、またはそれ以上といった任意の好適な数の光度レベルが、マルチモードインターフェイスのモードの数と相関するように実現され得る。
場合によっては、1つ以上のユーザインターフェイス要素(たとえばクロック、バッテリー充電レベル表示器、ホームボタン、ロックボタンなど)が、低輝度などの低光度でディスプレイスクリーン上に表示される。ディスプレイスクリーンはまた、画像の色あせた、および/またはぼやけた、モノクロ(たとえばグレースケール)のバージョンといった、低光度および彩度を有する画像を表示することができる。しかしながら、低彩度はモノクロに限定されない。むしろ、低彩度は、表示の知覚されたカラフルさが弱められたような暗くなった色調または陰影を有する1つ以上の色を含んでいてもよい。
一局面では、休止モードからアンビエントモードに移行する場合、中~高光度でユーザに挨拶するために、所定の持続時間の間、画像を見せる(たとえば、フェードインする)ように、追加の電力がマルチモードインターフェイスに提供される。このように、表示は、デバイスがユーザの存在を認識し、ユーザの動きに応答する準備ができているということをユーザに通知する。持続時間の満了後、電力は、画像が次第に目立たない状態になるように光度を減少させるように調節されてもよい。たとえば、消費電力が減少されてもよく、ディスプレイスクリーンは、画像を隠すために、または画像のぼやけた彩度低下バージョンを提供するために暗くされてもよい。いくつかの実現化例では、消費電力は、ユーザインターフェイス要素のうちの1つ以上を暗くし、および/または彩度低下することによってさらに減少される。アンビエントモードでは、デバイスは、ユーザの動きに定期的に応答する(たとえば、ユーザの動きを検出するために低いサンプルレートを使用する)。低いサンプルレートは、モバイルデバイスが低消費電力を維持することを可能にする。
レーダーシステムは、デバイスの所定距離(たとえば、約1.0メートル、0.75メートル、0.5メートル、0.3メートルなど)内の、デバイスに向かって伸びるユーザの手といった物体によるしきい値動き(threshold movement)を検出することができる。レーダーシステムがこのしきい値動きを検出すると、相互作用マネージャは、マルチモードインターフェイスをアンビエントモードからアラートモードに自律的に移行させることができる。アラートモードでは、ユーザがデバイスに向かって手を伸ばすにつれて、マルチモードインターフェイスに提供された電力は、少なくとも画像の光度を増加させるために動的に調節可能である。たとえば、光度は、ユーザの手がデバイスに近づくにつれて、少なくとも画像が次第により見やすくなるように、ユーザの手とデバイスとの間の距離の減少量および/または減少速度に比例して調節される。場合によっては、ユーザの手がデバイスに近づくにつれて、1つ以上の形状またはオブジェクトが背景から、および/または表示デバイスの側部から現われ、サイズが次第に大きくなり、より見やすくなってもよい。局面では、形状またはオブジェクトは、ユーザの手がデバイスに向かって動くにつれて、たとえば、ユーザの手に向かってまたはユーザの手から遠ざかって、あるいは、所定のスクリーン上の場所に向かってまたは当該場所から遠ざかって、スクリーン上で動いてもよい。別の例は、ディスプレイスクリーンが、明るい色(たとえば白、黄色、オレンジなど)で表示された1つ以上のUI要素を有する暗いまたは低い光度から、暗い色(たとえば黒、茶色、濃紺など)で表示された1つ以上のUI要素を有する高輝度に移行することを含む。
モバイルデバイスの認証システム(たとえば、レーダーベースの認証、顔認識認証、指紋認識認証など)がユーザを認可されたユーザとして認識すると、相互作用マネージャは、マルチモードインターフェイスをアクティブモードに移行させる。アクティブモードは、デバイスの完全に動作可能な状態であり、認証されたユーザに完全な権利を提供する。これは、各々、ユーザに完全ではない権利を提供する休止モード、アンビエントモード、およびアラートモードとは対照的である。アクティブモードでは、デバイスは、ユーザがデバイスへの完全なアクセスを有する、より高い電力(またはアクティブ)状態で動作する。アラートモードからアクティブモードに移行すると(たとえば、ユーザ認識および認証に基づいてデバイスがロック解除すると)、デバイスは、少なくとも表示画像の彩度を増加させるために、追加の電力をマルチモードインターフェイスに提供する。このように、色が画像に流れ込み、ユーザが認識され認証されたこと、およびデバイスがロック解除されたことを示すためにユーザに視覚フィードバックを提供する。いくつかの局面では、光度は、ロック解除状態のデバイスの動作に関連付けられた事前設定光度レベルなどの適切なレベルの光度に到達するまで、彩度の増加とともにさらに増加され得る。
いくつかの従来のモバイルデバイスは、ユーザの場所を判断し、ユーザの近接性に基づいてモバイルデバイスのさまざまな機能を調節するために、カメラまたは近接センサ(たとえば容量性センサ)を使用する場合がある。たとえば、モバイルデバイスは、ユーザが予め定められた距離内にいなければ表示をオフにすることによって、追加のプライバシーまたは美的価値を提供してもよい。しかしながら、従来のモバイルデバイスは典型的には、特にユーザデバイスがロック状態にある場合に、デバイスがユーザの動きを認識し、面白いやり方で反応できることをユーザに教えることができる豊かなアンビエント体験をユーザに提供することができない。
また、レーダーシステムおよびモバイルデバイス自体の消費電力は、いくつかの表示機能を制御するために常時オン状態のカメラ(または他のセンサあるいはセンサの組合せ)を使用し得るいくつかの従来の手法よりも実質的に少なくなり得る。ユーザがユーザデバイスと暗黙的にまたは間接的に相互作用しているに過ぎない場合には、より少ない電力が消費され、間接的なユーザ相互作用のレベルが増加する場合のみ、追加の電力がレーダーシステムおよびマルチモードインターフェイスに提供される。また、間接的なユーザ相互作用のレベルが減少する場合には、消費電力は減少される。これらは、異なる電力モードをマルチモードインターフェイスに適用するための低電力のモバイルデバイスベースのレーダーシステムを可能にするために、説明される手法およびデバイスがどのように使用され得るかについてのほんの数例である。それらの他の例および実現化例が、この文書全体にわたって説明される。文書はここで、例示的な動作環境に変わり、その後、例示的なデバイス、方法、およびシステムが説明される。
動作環境
図1は、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを可能にする手法が実現され得る例示的な環境100を示す。例示的な環境100はユーザデバイス102(たとえば電子デバイス)を含み、それは、レーダーシステム104と、永続的なレーダーベースの相互作用マネージャ106(相互作用マネージャ106)と、オプションの1つ以上の非レーダーセンサ108(非レーダーセンサ108)とを含むかまたはそれらと関連付けられている。非レーダーセンサ108は、音声センサ(たとえばマイク)、タッチ入力センサ(たとえばタッチスクリーン)、または画像取込デバイス(たとえばカメラまたはビデオカメラ)といったさまざまなデバイスのうちのいずれであってもよい。
例示的な環境100では、レーダーシステム104は、図3~6を参照して以下に説明されるように、1つ以上のレーダー信号または波形を送信することによってレーダー場110を提供する。レーダー場110は空間体積であり、そこからレーダーシステム104は、レーダー信号および波形の反射(たとえば、空間体積内の物体から反射されたレーダー信号および波形)を検出することができる。レーダーシステム104はまた、ユーザデバイス102または他の電子デバイスが、レーダー場110内の物体(たとえばユーザ112)からの反射を検知して分析することを可能にする。レーダーシステム104のいくつかの実現化例は、低電力の必要性、処理効率の必要性、アンテナ素子の間隔およびレイアウトにおける制限、および他の問題といった問題が集中するユーザデバイス102などのスマートフォンの状況で適用される際に特に有利であり、細かい手のエアジェスチャーのレーダー検出が望まれるスマートフォンの特定の状況でさらに有利である。実施形態は、レーダーによって検出される細かい手のエアジェスチャーが必要とされるスマートフォンの上述の状況で特に有利であるが、本発明の機能および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスを伴う他の実施形態も本教示の範囲内にあってもよいということが理解されるべきである。
物体は、木、プラスチック、金属、布地、人体、または人体部分(たとえば、ユーザデバイス102のユーザの足、手、または指)といった、レーダーシステム104がレーダー反射を検知して分析することができるさまざまな物体のうちのいずれであってもよい。図1に示すように、物体は、ユーザデバイス102のユーザ(たとえばユーザ112)である。反射の分析に基づいて、レーダーシステム104は、図3~6を参照して説明されるように、レーダー場110とユーザ112からの反射とに関連付けられたさまざまなタイプの情報を含むレーダーデータを提供することができる(たとえば、レーダーシステム104は、相互作用マネージャ106などの他のエンティティにレーダーデータを渡すことができる)。
なお、レーダーデータは、レーダー場110内のユーザ112からの検知され分析された反射に基づいて、時間とともに連続的にまたは定期的に提供されてもよい。ユーザ112の位置は時間とともに変わる場合があり(たとえば、ユーザ112はレーダー場110内で動く場合がある)、このため、レーダーデータは、変更された位置、反射、および分析に対応して時間とともに変わる場合がある。レーダーデータは時間とともに変わり得るため、レーダーシステム104は、異なる期間に対応するレーダーデータの1つ以上の部分集合を含むレーダーデータを提供してもよい。たとえば、レーダーシステム104は、第1の期間に対応するレーダーデータの第1の部分集合、第2の期間に対応するレーダーデータの第2の部分集合などを提供してもよい。
相互作用マネージャ106は、ユーザデバイス102のさまざまなコンポーネント(たとえば、モジュール、マネージャ、システム、またはインターフェイス)と相互作用するかまたは当該コンポーネントを制御するために使用され得る。たとえば、相互作用マネージャ106は、マルチモードインターフェイス114と相互作用するかまたはマルチモードインターフェイス114を実現することができる。相互作用マネージャ106は、レーダーシステム104から取得されたレーダーデータに基づいて、マルチモードインターフェイス114を特定のモードで維持するか、または、マルチモードインターフェイス114にモードを変更させることができる。これらのモードは、図7~9を参照して以下にさらに詳細に説明される。
相互作用マネージャ106は、ユーザデバイス102のさまざまなコンポーネント(たとえば、モジュール、マネージャ、システム、またはインターフェイス)と相互作用するかまたは当該コンポーネントを制御するために使用され得る。たとえば、相互作用マネージャ106は、レーダーシステム104をアイドルモードで維持するために使用され得る。アイドルモードとは、レーダーシステム104がユーザデバイス102の外部の環境を走査し、ユーザ112の存在を判断することを可能にする、永続的なより低い電力レーダーモードである。「永続的な」という用語は、相互作用マネージャ106に、およびレーダーシステム104のアイドルモードに言及する場合、レーダーシステム104をアイドルモードで維持するために、または相互作用マネージャ106を起動するために、ユーザ相互作用が必要とされないということを意味する。いくつかの実現化例では、「永続的な」状態は、(たとえばユーザ112によって)一時停止されるかまたはオフにされてもよい。他の実現化例では、「永続的な」状態は、ユーザデバイス102(または他の電子デバイス)の1つ以上のパラメータに従ってスケジューリングされるかまたは他の態様で管理されてもよい。たとえば、ユーザ112は、ユーザデバイス102が夜および日中の双方でオンであっても、それが日中のみ動作可能であるように、「永続的な」状態をスケジューリングしてもよい。別の例では、ユーザ112は、「永続的な」状態をユーザデバイス102の省電力モードと連係させてもよい。
アイドルモードでは、相互作用マネージャ106は、ユーザによる言語的入力、タッチ入力、または他の入力なしで、ユーザ112の存在を判断することができる。たとえば、アイドルモードである間、相互作用マネージャ106は、ユーザデバイス102のレーダー場110の範囲内にいるかもしれないユーザ112または他の物体の存在を判断するために、レーダーシステム104によって提供された(ここに説明されるような)レーダーデータの1つ以上の部分集合を使用してもよい。このように、相互作用マネージャ106は、明示的ユーザ入力を必要とすることなく、シームレスな電力管理を提供することができる。
いくつかの実現化例では、アイドルモードは、約30ミリワット(mW)以下の電力しか必要としない。他の実現化例では、アイドルモードは、約2mWまたは約8mWといった、異なる量の電力を必要としてもよい。また、相互作用マネージャ106がレーダーシステム104をアイドルモードで維持している場合、相互作用マネージャ106は、ユーザデバイス102も、より低い電力状態(たとえば、スリープモード、または他の省電力モード)で維持してもよい。このように、ユーザ112(または別の人間)がユーザデバイス102の近くにいるかどうかを判断することにより、相互作用マネージャは、ユーザがユーザデバイス102の近くにいない場合に消費電力を減少させることによって、バッテリー電力を保つのに役立ち得る。
レーダー場110は、相互作用マネージャ106がそこでのユーザ112の存在を正確に判断することができる、レーダーシステム104のまわりの区域である。レーダー場110は、さまざまな形状および形のうちのいずれをとってもよい。たとえば、レーダー場110は、図3および図4を参照して説明されるような形状を有していてもよい。他の場合、レーダー場110は、レーダーシステム104から延びる半径、レーダーシステム104のまわりの体積(たとえば、球、半球、球の一部、ビーム、または円錐)、もしくは、(たとえば、レーダー場110内の障害物からの干渉に対応するための)非均一形状といった形状をとってもよい。レーダー場110は、3フィート、7フィート、10フィート、または14フィート(もしくは、1メートル、2メートル、3メートル、または4メートル)といった、レーダーシステム104からのさまざまな距離のうちのいずれかだけ延びていてもよい。レーダー場110は定義済であってもよく、ユーザによって選択可能であってもよく、または、別の方法を介して(たとえば、電力要件、残りのバッテリ寿命、または別の要因に基づいて)定められてもよい。いくつかの実現化例では、相互作用マネージャ106がレーダー場110内のユーザ112(または別の物体)の存在を判断した場合、相互作用マネージャ106は、レーダーシステム104がアイドルモードを出て、以下に詳細に説明される相互作用モードに入るようにすることができる。
オプションで、または他の実現化例では、相互作用マネージャ106がレーダー場110内のユーザ112(または別の物体)の存在を判断した場合、相互作用マネージャ106は、レーダーシステム104が注意モードに入るようにすることができる。注意モードは、レーダーシステム104がレーダー場110内の物体についての他の情報を提供することを可能にするレーダーモードである。たとえば、注意モードである間、レーダーシステム104は、ユーザ112がユーザデバイス102に向かって手を伸ばすといった、ユーザ112によるユーザデバイスとの暗黙的相互作用を判断するために使用され得る、(ここに説明されるような、レーダーデータの1つ以上の他の部分集合を含む)他のレーダーデータを提供することができる。
いくつかの実現化例では、注意モードは、約60mW以下の電力しか必要としない。他の実現化例では、注意モードは、約8mW~約55mW、または約2mW~約20mWといった、異なる量の電力を必要としてもよい。相互作用マネージャ106がレーダーシステム104を注意モードで維持している場合、相互作用マネージャ106は、ユーザデバイス102も、アイドルモードで使用され得るより低い電力状態で維持してもよく、または、相互作用マネージャ106は、ユーザデバイス102がより低い電力状態を出て、別の状態(たとえば、ウェイクモード、アクティブモードなど)に入るようにしてもよい。
相互作用マネージャ106(もしくは別のモジュールまたはエンティティ)は、ユーザ112によるユーザデバイス102との暗黙的相互作用を判断するために、レーダーデータを使用することができる。暗黙的相互作用のレベルは、他のレーダーデータに基づいて判断され得る(レーダー場110内の)ユーザ112についてのさまざまな情報から判断され得る。相互作用マネージャ106は、ユーザによる言語的入力、タッチ入力、または他の入力なしで、ユーザ112による暗黙的相互作用を判断することができる。たとえば、相互作用マネージャ106は、ユーザデバイス102に対するユーザ112の体の位置または姿勢を判断するために、他のレーダーデータ、または、他のレーダーデータの1つ以上の他の部分集合を使用してもよい。
ユーザ112の体の位置および姿勢の判断は、さまざまな異なる非言語的ボディーランゲージキュー、体の位置、または体の姿勢のうちの1つ以上を判断することを含んでいてもよい。これらのキュー、位置、および姿勢は、ユーザデバイス102を基準にしたユーザ112の絶対位置または距離、ユーザデバイス102を基準にしたユーザ112の位置または距離の変化(たとえば、ユーザ112(またはユーザの手、またはユーザ112によって保持された物体)が、ユーザデバイス102により近づくように、またはユーザデバイス102からより遠ざかるように動いているか)、モバイルデバイス102に向かって、またはモバイルデバイス102から遠ざかって動く場合のユーザ112(または手または物体)の速度、ユーザ112がユーザデバイス102の方を向いているかまたは背を向けているか、ユーザ112がユーザデバイス102の方に身を乗り出しているか、手を振っているか、またはユーザデバイス102を指さしているかなどを含んでいてもよい。
いくつかの実現化例では、相互作用モードは、約90mW以下の電力しか必要としない。他の実現化例では、相互作用モードは、約20mWまたは約55mWといった、異なる量の電力を必要としてもよい。また、相互作用マネージャ106がレーダーシステム104を相互作用モードで維持する場合、ユーザ112がユーザデバイス102と相互作用している間、相互作用マネージャ106は、ユーザデバイス102も、適切な電力状態(たとえば、注意モードを参照して説明されるような完全電力状態、ウェイクモード、またはアクティブモード、アイドルモードを参照して説明されるようなスリープ状態、または別の電力状態)で維持してもよい。このように、ユーザ112(または別の人間)によるユーザデバイス102との暗黙的相互作用を判断することにより、相互作用マネージャは、ユーザ112による相互作用のレベルにとって適切である、レーダーシステム104のための、およびオプションでユーザデバイス102のための適切なレーダー電力状態を誘導することによって、バッテリー電力を保つのに役立ち得る。
アイドルモード、注意モード、および相互作用モードでレーダーシステム104によって消費される電力は、さまざまな手法を使用して調節され得る。たとえば、レーダーシステム104は、異なるデューティサイクルでレーダーデータを収集すること(たとえば、より低い周波数はより少ない電力を使用し、より高い周波数はより多くの電力を使用し得る)、さまざまなコンポーネントがアクティブでない場合に当該コンポーネントをオフにすること、または、電力増幅レベルを調節することによって、消費電力を減少させることができる。レーダーシステム104(およびユーザデバイス102)の電力管理に関する追加の詳細は、図3-1を参照して説明される。
ユーザデバイス102はまた、ディスプレイ116などの表示デバイスを含み得る。ディスプレイ116は、タッチスクリーン、液晶ディスプレイ(liquid crystal display:LCD)、薄膜トランジスタ(thin film transistor:TFT)LCD、イン・プレース・スイッチング(in-place switching:IPS)LCD、容量性タッチスクリーンディスプレイ、有機発光ダイオード(organic light emitting diode:OLED)ディスプレイ、アクティブマトリックス有機発光ダイオード(active-matrix organic light-emitting diode:AMOLED)ディスプレイ、スーパーAMOLEDディスプレイなどといった任意の好適な表示デバイスを含み得る。ディスプレイ116は、マルチモードインターフェイス114をそのさまざまなモードのうちのいずれかで表示するために使用される。
レーダーベースの相互作用マネージャ106は、レーダーシステム104によって提供されたレーダーデータに基づいて、ユーザまたはユーザの手によってなされた動きを判断することができる。相互作用マネージャ106は次に、ユーザが動きを介してユーザデバイス102と暗黙的に相互作用することを可能にするやり方で動きを処理する。たとえば、図3~6を参照して説明されるように、レーダーシステムは、レーダー場を使用して、ユーザの動き認識のための高分解能および精度を可能にするやり方でレーダー場内の物体からの反射を検知して分析することができる。
レーダーシステム104のいくつかの実現化例は、問題が集中するスマートデバイス(たとえばユーザデバイス102)の状況で適用される際に特に有利である。これは、レーダーシステム104の間隔およびレイアウトと低電力とにおける制限の必要性を含み得る。スマートデバイスの例示的な全体的横寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステムの例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。レーダーシステム104の例示的な消費電力は、約数ミリワットから数十ミリワット(たとえば、約2ミリワットから20ミリワット)であってもよい。レーダーシステム104のためのそのような制限された設置面積および消費電力の要件は、スマートデバイスが、他の望ましい機能(たとえば、カメラセンサ、指紋センサ、ディスプレイなど)を空間が限られたパッケージ内に含むことを可能にする。
スマートデバイスの例示的な全体的横寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。レーダーシステム104の例示的な消費電力は、約数ミリワットから数十ミリワット(たとえば、約2ミリワットから20ミリワット)であってもよい。レーダーシステム104のためのそのような制限された設置面積および消費電力の要件は、スマートデバイスが、他の望ましい機能(たとえば、カメラセンサ、指紋センサ、ディスプレイなど)を空間が限られたパッケージ内に含むことを可能にする。スマートデバイスおよびレーダーシステム104は、図2に関してさらに説明される。
より詳細には、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを実現できる(レーダーシステム104と相互作用マネージャ106と非レーダーセンサ108とを含む)ユーザデバイス102の例示的な実現化例200を示す図2を考慮されたい。図2のユーザデバイス102は、ユーザデバイス102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、コンピューティング眼鏡102-6、ゲーミングシステム102-7、ホームオートメーションおよび制御システム102-8、ならびに電子レンジ102-9を含むさまざまな例示的デバイスとともに図示される。ユーザデバイス102はまた、テレビ、娯楽システム、オーディオシステム、自動車、ドローン、トラックパッド、ドローイングパッド、ネットブック、電子リーダ、ホームセキュリティシステム、および他の家庭用機器といった他のデバイスを含み得る。なお、ユーザデバイス102はウェアラブルであってもよく、非ウェアラブルであるもののモバイルであってもよく、または、比較的非モバイル(たとえば、デスクトップおよび機器)であってもよい。
ユーザデバイス102の例示的な全体的横寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。電力制限および処理制限と組合された、ユーザデバイス102の多くの他の望ましい機能(たとえば指紋センサ、非レーダーセンサ108など)をそのような空間が制限されたパッケージ内に収容するために必要とされるレーダーシステム104のためのそのような制限された設置面積の要件は、レーダージェスチャー検出の精度および効力における妥協をもたらし得るが、妥協のうちの少なくともいくつかは、ここでの教示に鑑みて克服され得る。
ユーザデバイス102はまた、1つ以上のコンピュータプロセッサ202と1つ以上のコンピュータ読取可能媒体204とを含み、コンピュータ読取可能媒体204は、メモリ媒体と記憶媒体とを含む。コンピュータ読取可能媒体204上のコンピュータ読取可能命令として実現されるアプリケーションおよび/またはオペレーティングシステム(図示せず)は、ここに説明される機能性のうちのいくつかまたはすべてを提供するためにコンピュータプロセッサ202によって実行され得る。コンピュータ読取可能媒体204はまた、レーダーベースのアプリケーション206を含み、それは、レーダーシステム104によって生成されたレーダーデータを使用して、ユーザの存在を検出するか、または、非接触制御のためのユーザのエアジェスチャーを追跡するといった機能を行なう。
ユーザデバイス102はまた、ネットワークインターフェイス208を含んでいてもよい。ユーザデバイス102は、有線ネットワーク、無線ネットワーク、または光ネットワークを通してデータを通信するためにネットワークインターフェイス208を使用することができる。限定ではなく例示として、ネットワークインターフェイス208は、ローカルエリアネットワーク(local-area-network:LAN)、無線ローカルエリアネットワーク(wireless local-area-network:WLAN)、パーソナルエリアネットワーク(personal-area-network:PAN)、ワイドエリアネットワーク(wide-area-network :WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを通してデータを通信してもよい。
局面では、レーダーシステム104は、少なくとも部分的にハードウェアで実現される。レーダーシステム104のさまざまな実現化例は、システム・オン・チップ(System-on-Chip:SoC)、1つ以上の集積回路(Integrated Circuit:IC)、埋込まれたプロセッサ命令を有するかまたはメモリに格納されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント回路基板、またはそれらの任意の組合せを含み得る。レーダーシステム104は、それ自体のレーダー信号を送受信することによってモノスタティックレーダーとして動作する。いくつかの実現化例では、レーダーシステム104はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内にある他のレーダーシステム104と協働してもよい。しかしながら、ユーザデバイス102の制約または制限は、レーダーシステム104の設計に影響を与える場合がある。ユーザデバイス102は、たとえば、レーダーを動作させるために利用可能な電力の制限、計算能力の制限、サイズ制約、レイアウト制約、レーダー信号を減衰させるかまたは歪める外部ハウジングなどを有する場合がある。レーダーシステム104は、図3に関して以下にさらに説明されるように、これらの制約が存在する状態で高度のレーダー機能性および高性能が実現されることを可能にするいくつかの機能を含む。なお、図2では、レーダーシステム104および相互作用マネージャ106は、ユーザデバイス102の一部として示される。他の実現化例では、レーダーシステム104および相互作用マネージャ106のいずれかまたは双方が、ユーザデバイス102から離れているかまたはリモートであってもよい。
図3-2は、例示的なトランシーバ306およびプロセッサ308を示す。トランシーバ306は、レーダーシステム104の動作状態に従って電力管理モジュール320を介して個々にオンまたはオフにされ得る複数のコンポーネントを含む。トランシーバ306は、アクティブコンポーネント322、電圧制御発振器(voltage-controlled oscillator:VCO)兼電圧制御バッファ324、マルチプレクサ326、アナログ/デジタル変換器(analog-to-digital converter:ADC)328、位相ロックループ(phase lock loop:PLL)330、および水晶発振器332というコンポーネントの各々のうちの少なくとも1つを含むように示される。オンにされた場合、これらのコンポーネントの各々は、レーダーシステム104がレーダー信号を送信または受信するためにこれらのコンポーネントをアクティブに使用していなくても、電力を消費する。アクティブコンポーネント322は、たとえば、供給電圧に結合される増幅器またはフィルタを含み得る。電圧制御発振器324は、位相ロックループ330によって提供される制御電圧に基づいて、周波数変調レーダー信号を生成する。水晶発振器332は、レーダーシステム104内の信号発生、周波数変換(たとえばアップコンバージョンまたはダウンコンバージョン)、もしくはタイミング動作のための基準信号を生成する。これらのコンポーネントをオンまたはオフにすることにより、電力管理モジュール320は、レーダーシステム104が、アクティブな動作状態と非アクティブな動作状態とを迅速に切り替え、さまざまな非アクティブ期間の間に電力を節約することを可能にする。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであってもよい。
プロセッサ308は、低電力プロセッサ308-1および高電力プロセッサ308-2といった、異なる量の電力を消費する複数のプロセッサを含むように示される。一例として、低電力プロセッサ308-1は、レーダーシステム104内に埋込まれたプロセッサを含んでいてもよく、高電力プロセッサは、レーダーシステム104の外部にあるコンピュータプロセッサ202または何らかの他のプロセッサを含んでいてもよい。消費電力の差は、異なる量の利用可能なメモリまたは計算能力に起因し得る。たとえば、低電力プロセッサ308-1は、高電力プロセッサ308-2に比べて、より少ないメモリを利用し、より少ない計算を行ない、または、より単純なアルゴリズムを利用する場合がある。これらの制限にもかかわらず、低電力プロセッサ308-1は、近接検出または動き検出といった、それほど複雑でないレーダーベースのアプリケーション206のためにデータを処理することができる。高電力プロセッサ308-2は対照的に、大量のメモリを利用し、大量の計算を行ない、もしくは、複雑な信号処理、追跡、または機械学習アルゴリズムを実行する場合がある。高電力プロセッサ308-2は、エアジェスチャー認識といった、注目を集めているレーダーベースのアプリケーション206のためにデータを処理し、角度曖昧性の解決または複数のユーザ112の識別を通して正確で高分解能のデータを提供し得る。
電力を節約するために、電力管理モジュール320は、レーダーデータを処理するために低電力プロセッサ308-1または高電力プロセッサ308-2が使用されるかどうかを制御することができる。場合によっては、低電力プロセッサ308-1は、分析の一部を行なって、データを高電力プロセッサ308-2に渡すことができる。例示的なデータは、クラッタマップ、未加工レーダーデータまたは最小限に処理されたレーダーデータ(たとえば、同相および直交位相データ、またはレンジドップラーデータ)、または、デジタルビーム形成データを含んでいてもよい。低電力プロセッサ308-1はまた、高電力プロセッサ308-2が分析するべき対象の何かが環境に存在するかどうかを判断するために、何らかの低レベル分析を行なってもよい。このように、高忠実度のまたは正確なレーダーデータがレーダーベースのアプリケーション206によって要求される状況のために高電力プロセッサ308-2を利用しながら、高電力プロセッサ308-2の動作を制限することによって、電力が節約され得る。レーダーシステム104内の消費電力を影響を与え得る他の要因は、図3-1に関してさらに説明される。
これらのおよび他の能力および構成と、図1のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。これらのエンティティは、さらに分割されたり、組合されたりしてもよい。図1の環境100と、図2~15の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。図3~6は、レーダーシステム104の追加の詳細および機能を説明する。図3~6では、レーダーシステム104はユーザデバイス102の状況で説明されるが、上述のように、説明されるシステムおよび手法の機能および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスを伴う他の実施形態も本教示の範囲内にあってもよい。
図3-1は、マルチモードインターフェイスの異なる電力モードを可能にし、制御するために使用され得るレーダーシステム104の例示的な実現化例300を示す。例300では、レーダーシステム104は、通信インターフェイス302、アンテナアレイ304、トランシーバ306、プロセッサ308、およびシステム媒体310(たとえば、1つ以上のコンピュータ読取可能記憶媒体)というコンポーネントの各々のうちの少なくとも1つを含む。プロセッサ308は、デジタル信号プロセッサ、コントローラ、アプリケーションプロセッサ、他のプロセッサ(たとえば、ユーザデバイス102のコンピュータプロセッサ202)、またはそれらの何らかの組合せとして実現され得る。ユーザデバイス102のコンピュータ読取可能媒体204内に含まれていても、またはコンピュータ読取可能媒体204から離れていてもよいシステム媒体310は、減衰緩和器314、デジタルビーム形成器316、角度推定器318、または電力管理モジュール320というモジュールのうちの1つ以上を含む。これらのモジュールは、ユーザデバイス102内へのレーダーシステム104の一体化を補償するかまたは当該一体化の影響を緩和することができ、それにより、レーダーシステム104が、小さいエアジェスチャーまたは複雑なエアジェスチャーを認識すること、ユーザの異なる配向を区別すること、外部環境を連続的に監視すること、または、目標誤警報確率を実現することを可能にする。これらの機能を有して、レーダーシステム104は、図2に示すデバイスなどのさまざまな異なるデバイス内で実現され得る。
通信インターフェイス302を使用して、レーダーシステム104はレーダーデータを相互作用マネージャ106に提供することができる。通信インターフェイス302は、レーダーシステム104がユーザデバイス102から離れてまたはユーザデバイス102内に一体化されて実現されることに基づいて、無線または有線インターフェイスであってもよい。アプリケーションに依存して、レーダーデータは、未加工データまたは最小限に処理されたデータ、同相および直交位相(in-phase and quadrature:I/Q)データ、レンジドップラーデータ、目標位置情報(たとえば範囲、方位角、仰角)を含む処理済データ、クラッタマップデータなどを含んでいてもよい。一般に、レーダーデータは、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムのために相互作用マネージャ106によって使用可能な情報を含む。
アンテナアレイ304は、少なくとも1つの送信アンテナ素子(図示せず)と、(図4に示すような)少なくとも2つの受信アンテナ素子とを含む。場合によっては、アンテナアレイ304は、複数の別個の波形(たとえば、送信アンテナ素子ごとに異なる波形)を一度に送信することができるマルチ入力マルチ出力(multiple-input multiple-output:MIMO)レーダーを実現するために、複数の送信アンテナ素子を含んでいてもよい。複数の波形の使用は、レーダーシステム104の測定精度を高め得る。3つ以上の受信アンテナ素子を含む実現化例のために、受信アンテナ素子は、1次元形状(たとえば線)または2次元形状で位置付けられ得る。1次元形状は、レーダーシステム104が1つの角度寸法(たとえば、方位角または仰角)を測定することを可能にし、一方、2次元形状は、2つの角度寸法(たとえば、方位角および仰角の双方)が測定されることを可能にする。受信アンテナ素子の例示的な2次元配置を、図4に関してさらに説明する。
図4は、受信アンテナ素子402の例示的な配置400を示す。アンテナアレイ304がたとえば少なくとも4つの受信アンテナ素子402を含む場合、受信アンテナ素子402は、図4の中央に示されるような矩形配置404-1で配置され得る。これに代えて、アンテナアレイ304が少なくとも3つの受信アンテナ素子402を含む場合、三角形配置404-2またはL字形配置404-3が使用されてもよい。
ユーザデバイス102のサイズまたはレイアウト制約により、受信アンテナ素子402間の素子間隔、または受信アンテナ素子402の数量が、レーダーシステム104が監視する際の角度にとって理想的ではない場合がある。特に、素子間隔は、従来のレーダーがターゲットの角度位置を推定することを困難にする角度曖昧性を存在させる場合がある。従来のレーダーはしたがって、角度曖昧性を有する曖昧なゾーンを回避し、それによって誤検出を減少させるために、視野(たとえば、監視されるべき角度)を制限する場合がある。たとえば、従来のレーダーは、5ミリメートル(mm)の波長および3.5mmの素子間隔(たとえば、素子間隔は波長の70%である)を使用して生じる角度曖昧性を回避するために、視野を約-45度~45度の角度に制限する場合がある。したがって、従来のレーダーは、視野の45度の限度を超えるターゲットを検出できないかもしれない。対照的に、レーダーシステム104はデジタルビーム形成器316と角度推定器318とを含み、それらは角度曖昧性を解決し、レーダーシステム104が、約-90度~90度の角度、または約-180度および180度までの角度といった、45度の限度を超える角度を監視することを可能にする。これらの角度範囲は、1つ以上の方向(たとえば、方位角および/または仰角)にわたって適用され得る。したがって、レーダーシステム104は、レーダー信号の中心波長の半分よりも小さい、または大きい、または当該中心波長の半分と等しい素子間隔を含む、さまざまな異なるアンテナアレイ設計のために、低い誤警報確率を実現することができる。
アンテナアレイ304を使用して、レーダーシステム104は、操向されるかまたは操向されていない、広いかまたは狭い、もしくは(たとえば半球、立方体、扇、円錐、または円筒として)形作られたビームを形成することができる。一例として、1つ以上の送信アンテナ素子(図示せず)は、操向されていない全方向放射パターンを有していてもよく、または、広い送信ビーム406などの広いビームを生成可能であってもよい。これらの手法のいずれも、レーダーシステム104が大きい空間体積を照明することを可能にする。しかしながら、目標角度精度および角度分解能を達成するために、受信アンテナ素子402およびデジタルビーム形成器316は、狭い受信ビーム408などの何千もの狭い操向されているビーム(たとえば2000本のビーム、4000本のビーム、または6000本のビーム)を生成するために使用され得る。このように、レーダーシステム104は、外部環境を効率的に監視し、外部環境内の反射の到来角を正確に判断することができる。
図3に戻って、トランシーバ306は、アンテナアレイ304を介してレーダー信号を送受信するための回路およびロジックを含む。トランシーバ306のコンポーネントは、レーダー信号を調整するための増幅器、ミキサー、スイッチ、アナログ/デジタル変換器、フィルタなどを含み得る。トランシーバ306はまた、変調または復調などの同相/直交位相(I/Q)動作を行なうためのロジックを含み得る。トランシーバ306は、連続波レーダー動作またはパルスレーダー動作のために構成され得る。レーダー信号を生成するために、線形周波数変調、三角形周波数変調、階段状周波数変調、または位相変調を含むさまざまな変調が使用され得る。
トランシーバ306は、1ギガヘルツ(GHz)~400GHz、4GHz~100GHz、または57GHz~63GHzといった、ある範囲の周波数(たとえば周波数スペクトル)内のレーダー信号を生成することができる。周波数スペクトルは、同様の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、約500メガヘルツ(MHz)、1GHz、2GHzなどであり得る。一例として、異なる周波数サブスペクトルは、約57GHz~59GHz、59GHz~61GHz、または61GHz~63GHzの周波数を含んでいてもよい。同じ帯域幅を有し、隣接していても隣接していなくてもよい複数の周波数サブスペクトルはまた、干渉性のために選択されてもよい。複数の周波数サブスペクトルは、単一のレーダー信号または複数のレーダー信号を使用して、同時に送信されてもよく、または時間的に隔てられてもよい。隣接している周波数サブスペクトルは、レーダー信号がより広い帯域幅を有することを可能にし、一方、隣接していない周波数サブスペクトルは、角度推定器318が角度曖昧性を解決することを可能にする振幅および位相の差をさらに強調することができる。減衰緩和器314または角度推定器318は、図5および図6に関してさらに説明されるように、レーダーシステム104の性能を向上させるためにトランシーバ306に1つ以上の周波数サブスペクトルを利用させてもよい。
電力管理モジュール320は、レーダーシステム104がユーザデバイス102内で電力を内部または外部で節約することを可能にする。いくつかの実現化例では、電力管理モジュール320は、相互作用マネージャ106と通信して、レーダーシステム104またはユーザデバイス102のいずれかまたは双方の内部で電力を節約する。たとえば、内部では、電力管理モジュール320は、レーダーシステム104に、定義済レーダー電力状態または特定のデューティサイクルを使用してデータを収集させ得る(たとえば、より低いデューティサイクルはより遅い更新レートを使用し、より高いデューティサイクルはより速い更新レートを使用する)。この場合、電力管理モジュール320は、環境内での活動に基づいて応答遅延および消費電力がともに管理されるように異なるレーダー電力状態間を動的に切り替える。一般に、電力管理モジュール320は、電力がいつ、どのように節約され得るかを判断し、レーダーシステム104がユーザデバイス102の電力制限内で動作することを可能にするように消費電力を徐々に調節する。場合によっては、電力管理モジュール320は、残りの利用可能電力の量を監視し、それに応じてレーダーシステム104の動作を調節してもよい。たとえば、残りの電力の量が少ない場合、電力管理モジュール320は、より高い電力モードに切り替わる代わりに、より低い電力モードで動作し続けてもよい。
低電力モードは、たとえば、約数ヘルツ(たとえば約1Hz、または5Hz未満)という低デューティサイクルを使用してもよく、それは、消費電力を数ミリワット(mW)(たとえば約2mW~5mW)まで減少させる。一方、高電力モードは、約数十ヘルツ(Hz)(たとえば約20Hz、または10Hzを上回る)という高デューティサイクルを使用してもよく、それは、レーダーシステム104に、約数ミリワット(たとえば約8mW~20mW)の電力を消費させる。低電力モードは、外部環境を監視するかまたは接近するユーザを検出するために使用され得るが、ユーザがエアジェスチャーを行ない始めているとレーダーシステム104が判断した場合、電力管理モジュール320は高電力モードに切り替えてもよい。異なるトリガが、電力管理モジュール320に、異なるレーダー電力状態間を切り替えることを行なわせてもよい。例示的なトリガは、動きまたは動きの欠如、ユーザが現われることまたはいなくなること、ユーザが指定領域(たとえば、範囲、方位角、または仰角によって定義された領域)に入ることまたは当該指定領域から出ること、ユーザに関連付けられた動きの速度の変化、もしくは、(たとえば、レーダー断面の変化による)反射信号強度の変化を含む。一般に、ユーザが電子デバイス102と相互作用する可能性がより低いこと、または、より長い応答遅延を使用してデータを収集することを好むことを示すトリガは、電力を節約するためにより低い電力モードを起動させてもよい。
電力管理モジュール320はまた、非アクティブ期間の間、トランシーバ306内の1つ以上のコンポーネント(たとえば電圧制御発振器、マルチプレクサ、アナログ/デジタル変換器、位相ロックループ、または水晶発振器)をオフにすることによって、電力を節約することができる。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであり得るレーダー信号をレーダーシステム104がアクティブに送信または受信していない場合に生じる。また、電力管理モジュール320は、信号増幅器によって提供される増幅の量を調節することによって、レーダー信号の送信電力を修正することができる。加えて、電力管理モジュール320は、電力を節約するために、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御することができる。プロセッサ308がたとえばより低い電力のプロセッサとより高い電力のプロセッサと(たとえば、異なる量のメモリおよび計算能力を有するプロセッサ)を含む場合、電力管理モジュール320は、低レベル分析(たとえば、アイドルモードを実現すること、動きを検出すること、ユーザの場所を判断すること、または環境を監視すること)のためにより低い電力のプロセッサを利用することと、高忠実度または正確なレーダーデータが相互作用マネージャ106によって要求される状況のために(たとえば、注意モードまたは相互作用モード、エアジェスチャー認識、またはユーザ配向を実現するために)より高い電力のプロセッサを利用することとを切り替えることができる。
上述の内部電力節約手法に加えて、電力管理モジュール320はまた、電子デバイス102内にある他の外部コンポーネントまたはセンサを起動または停止することによって、電子デバイス102内の電力を節約することができる。これらの外部コンポーネントは、スピーカ、カメラセンサ、全地球測位システム、無線通信トランシーバ、ディスプレイ、ジャイロスコープ、または加速度計を含んでいてもよい。レーダーシステム104は少量の電力を使用して環境を監視することができるため、電力管理モジュール320は、ユーザがどこに位置するか、またはユーザが何をしているかに基づいて、これらの外部コンポーネントを適切にオンまたはオフにすることができる。このように、電子デバイス102は、自動遮断タイマーを使用すること、もしくは、ユーザが電子デバイス102に物理的に触れるかまたは電子デバイス102を言葉で制御することなく、ユーザにシームレスに応答し、電力を節約することができる。
図5は、ユーザデバイス102内のレーダーシステム104の例示的な実現化例500の追加の詳細を示す。例500では、アンテナアレイ304は、ガラスカバーまたは外部ケースといった、ユーザデバイス102の外部ハウジングの下に位置付けられる。その材料特性に依存して、外部ハウジングは減衰器502として作用する場合があり、それは、レーダーシステム104によって送受信されるレーダー信号を減衰させるかまたは歪める。減衰器502は、異なるタイプのガラスまたはプラスチックを含んでいてもよく、それらのいくつかは、ユーザデバイス102のディスプレイスクリーン、外部ハウジング、または他のコンポーネント内で見つかってもよく、約4~10の誘電率(たとえば比誘電率)を有していてもよい。したがって、減衰器502はレーダー信号506に対して不透過性または半透過性であり、送信または受信されたレーダー信号506の一部が(反射部分504によって示されるように)反射されることをもたらし得る。従来のレーダーについては、減衰器502は、監視可能な有効範囲を減少させ、小さいターゲットが検出されることを防止し、または、全体的精度を減少させ得る。
レーダーシステム104の送信電力が制限され、外部ハウジングの再設計が望ましくないと仮定すると、レーダー信号506の1つ以上の減衰依存特性(たとえば、周波数サブスペクトル508または操向角510)、もしくは、減衰器502の減衰依存特性(たとえば、減衰器502とレーダーシステム104との間の距離512、または減衰器502の厚さ514)が、減衰器502の影響を緩和するために調節される。これらの特性のうちのいくつかは、製造中に設定され、または、レーダーシステム104の動作中に減衰緩和器314によって調節され得る。減衰緩和器314はたとえば、トランシーバ306が、選択された周波数サブスペクトル508または操向角510を使用してレーダー信号506を送信するようにし、プラットフォームが、距離512を変更するためにレーダーシステム104を減衰器502に近づくかまたは減衰器502から遠ざかるように動かすようにし、もしくは、ユーザに、減衰器502の厚さ514を増加させるために別の減衰器を適用するよう促し得る。
減衰器502の予め定められた特性(たとえば、ユーザデバイス102のコンピュータ読取可能媒体204に、またはシステム媒体310内に格納された特性)に基づいて、もしくは、減衰器502の1つ以上の特性を測定するためにレーダー信号506のリターンを処理することによって、適切な調節が減衰緩和器314によって行なわれ得る。減衰依存特性のうちのいくつかが固定または制約されても、減衰緩和器314は、これらの制限を考慮に入れて、各パラメータのバランスを取り、目標レーダー性能を達成することができる。その結果、減衰緩和器314は、レーダーシステム104が、減衰器502の反対側に位置するユーザを検出して追跡するための高められた精度およびより大きい有効範囲を実現することを可能にする。これらの手法は、レーダーシステム104の消費電力を増加させる送信電力の増加に対する代替案、または、デバイスがいったん生産され始めると困難で高価になり得る減衰器502の材料特性の変更に対する代替案を提供する。
図6は、レーダーシステム104によって実現される例示的なスキーム600を示す。スキーム600の部分は、プロセッサ308、コンピュータプロセッサ202、または他のハードウェア回路によって行なわれてもよい。スキーム600は、異なるタイプの電子デバイスおよびレーダーベースのアプリケーション(たとえば相互作用マネージャ106)をサポートするためにカスタマイズ可能であり、また、レーダーシステム104が設計制約にもかかわらず目標角度精度を達成することを可能にする。
トランシーバ306は、受信されたレーダー信号に対する受信アンテナ素子402の個々の応答に基づいて、未加工データ602を生成する。受信されたレーダー信号は、角度曖昧性の解決を容易にするために角度推定器318によって選択された1つ以上の周波数サブスペクトル604に関連付けられてもよい。周波数サブスペクトル604はたとえば、サイドローブの量を減少させるように、または、サイドローブの振幅を減少させる(たとえば、振幅を0.5dB、1dB、またはそれ以上減少させる)ように選択されてもよい。周波数サブスペクトルの量は、レーダーシステム104の目標角度精度または計算制限に基づいて判断され得る。
未加工データ602は、受信アンテナ素子402にそれぞれ関連付けられた期間、異なる波数、および複数のチャネルについてのデジタル情報(たとえば、同相および直交位相データ)を含む。未加工データ602に対して高速フーリエ変換(Fast-Fourier Transform:FFT)606が行なわれ、前処理済データ608を生成する。前処理済データ608は、当該期間にわたって、異なる範囲(たとえば、範囲ビン)についての、および当該複数のチャネルについてのデジタル情報を含む。前処理済データ608に対してドップラーフィルタリングプロセス610が行なわれ、レンジドップラーデータ612を生成する。ドップラーフィルタリングプロセス610は、複数の範囲ビン、複数のドップラー周波数についての、および当該複数のチャネルについての振幅および位相情報を生成する別のFFTを含んでいてもよい。レンジドップラーデータ612に基づいて、デジタルビーム形成器316はビーム形成データ614を生成する。ビーム形成データ614は、デジタルビーム形成器316によって異なる操向角またはビームが形成される視野を表わす1組の方位角および/または仰角についてのデジタル情報を含む。図示されていないものの、これに代えて、デジタルビーム形成器316は、前処理済データ608に基づいてビーム形成データ614を生成してもよく、ドップラーフィルタリングプロセス610は、ビーム形成データ614に基づいてレンジドップラーデータ612を生成してもよい。計算量を減少させるために、デジタルビーム形成器316は、対象の範囲、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ612または前処理済データ608の一部を処理してもよい。
デジタルビーム形成器316は、シングルルックビーム形成器616、マルチルック干渉計618、またはマルチルックビーム形成器620を使用して実現され得る。一般に、シングルルックビーム形成器616は、決定論的物体(たとえば、単一の位相中心を有するポイントソースターゲット)のために使用され得る。非決定論的ターゲット(たとえば、複数の位相中心を有するターゲット)については、マルチルック干渉計618またはマルチルックビーム形成器620が、シングルルックビーム形成器616と比べて精度を向上させるために使用される。人間は、非決定論的ターゲットの一例であり、624-1および624-2で示されるような異なるアスペクト角に基づいて変わり得る複数の位相中心622を有する。複数の位相中心622によって生成された建設的または相殺的干渉における変動は、従来のレーダーが角度位置を正確に判断することを困難にし得る。しかしながら、マルチルック干渉計618またはマルチルックビーム形成器620は、ビーム形成データ614の精度を高めるために干渉平均化を行なう。マルチルック干渉計618は、2つのチャネルの干渉平均化を行ない、角度情報を正確に判断するために使用され得る位相情報を生成する。一方、マルチルックビーム形成器620は、フーリエ、カポン(Capon)、多重信号分類(multiple signal classification:MUSIC)、または最小分散無歪応答(minimum variance distortion less response:MVDR)といった線形または非線形ビーム形成器を使用して、2つ以上のチャネルの干渉平均化を行なうことができる。マルチルックビーム形成器620またはマルチルック干渉計618を介して提供された精度向上は、レーダーシステム104が小さいエアジェスチャーを認識するかまたはユーザの複数の部分を区別することを可能にする。
角度推定器318は、ビーム形成データ614を分析して、1つ以上の角度位置を推定する。角度推定器318は、信号処理手法、パターンマッチング手法、または機械学習を利用してもよい。角度推定器318はまた、レーダーシステム104の設計またはレーダーシステム104が監視する視野から生じ得る角度曖昧性を解決する。例示的な角度曖昧性を振幅プロット626内に示す(たとえば振幅応答)。
振幅プロット626は、ターゲットの異なる角度位置について、および異なる操向角510について生じ得る振幅差を示す。第1の振幅応答628-1(実線で図示)が、第1の角度位置630-1に位置付けられたターゲットについて示される。同様に、第2の振幅応答628-2(点線で図示)が、第2の角度位置630-2に位置付けられたターゲットについて示される。この例では、差は、-180度~180度の角度にわたると考えられる。
振幅プロット626に示されるように、2つの角度位置630-1および630-2について曖昧なゾーンが存在する。第1の振幅応答628-1は、第1の角度位置630-1で最も高いピークを有し、第2の角度位置630-2でより低いピークを有する。最も高いピークはターゲットの実際の位置に対応する一方、より低いピークは第1の角度位置630-1を曖昧にする。なぜなら、それは、従来のレーダーが、ターゲットが第1の角度位置630-1にあるかまたは第2の角度位置630-2にあるかを確信を持って判断することができないかもしれない、何らかのしきい値内にあるためである。対照的に、第2の振幅応答628-2は、第2の角度位置630-2でより低いピークを有し、第1の角度位置630-1でより高いピークを有する。この場合、より低いピークはターゲットの場所に対応する。
従来のレーダーは角度位置を判断するために最も高いピーク振幅を使用するよう限定され得るが、角度推定器318は代わりに、振幅応答628-1および628-2の形状の微妙な違いを分析する。形状の特性は、たとえば、ロールオフ、ピークまたはヌルの幅、ピークまたはヌルの角度位置、ピークおよびヌルの高さまたは深さ、サイドローブの形状、振幅応答628-1または628-2内の対称性、もしくは、振幅応答628-1または628-2内の対称性の欠如を含み得る。同様の形状特性は位相応答において分析されてもよく、それは、角度曖昧性を解決するための追加情報を提供することができる。角度推定器318はしたがって、一意的な角度署名またはパターンを角度位置にマッピングする。
角度推定器318は、ユーザデバイス102のタイプ(たとえば計算能力または電力制約)もしくは相互作用マネージャ106のための目標角度分解能に従って選択され得るアルゴリズムまたはツール一式を含み得る。いくつかの実現化例では、角度推定器318は、ニューラルネットワーク632、畳み込みニューラルネットワーク(convolutional neural network:CNN)634、または長短期記憶(long short-term memory:LSTM)ネットワーク636を含み得る。ニューラルネットワーク632は、さまざまな深さまたは数量の隠れ層(たとえば3つの隠れ層、5つの隠れ層、または10個の隠れ層)を有していてもよく、また、異なる数量の接続を含み得る(たとえば、ニューラルネットワーク632は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る)。場合によっては、角度推定器318の計算速度を増加させるために、CNN634が使用され得る。LSTMネットワーク636は、角度推定器318がターゲットを追跡することを可能にするために使用され得る。機械学習手法を使用して、角度推定器318は、非線形関数を採用し、振幅応答628-1または628-2の形状を分析して角度確率データ638を生成し、それは、ユーザまたはユーザの部分が角度ビン内にいる可能性を示す。角度推定器318は、ターゲットがユーザデバイス102の左側または右側にある確率を提供するために、2つの角度ビンといった少数の角度ビンについての角度確率データ638を提供してもよく、または、(たとえば、連続的な角度測定についての角度確率データ638を提供するために)何千もの角度ビンについての角度確率データ638を提供してもよい。
角度確率データ638に基づいて、トラッカーモジュール640が角度位置データ642を生成し、それはターゲットの角度位置を識別する。トラッカーモジュール640は、角度確率データ638において最も高い確率を有する角度ビンに基づいて、または、予測情報(たとえば、以前に測定された角度位置情報)に基づいて、ターゲットの角度位置を判断してもよい。トラッカーモジュール640はまた、レーダーシステム104がターゲットを確信を持って区別または識別することを可能にするために、1つ以上の動くターゲットを追跡してもよい。範囲、ドップラー、速度、または加速度を含む他のデータも、角度位置を判断するために使用され得る。場合によっては、トラッカーモジュール640は、アルファ-ベータトラッカー、カルマン(Kalman)フィルタ、多重仮説トラッカー(multiple hypothesis tracker:MHT)などを含み得る。
量子化器モジュール644が、角度位置データ642を取得してデータを量子化し、量子化済角度位置データ646を生成する。量子化は、相互作用マネージャ106のための目標角度分解能に基づいて行なわれ得る。いくつかの状況では、量子化済角度位置データ646が、ターゲットがユーザデバイス102の右側にあるかまたは左側にあるかを示すように、もしくは、ターゲットが位置する90度の象限を識別するように、より少ない量子化レベルが使用され得る。これは、ユーザ近接検出といったいくつかのレーダーベースのアプリケーションにとっては十分かもしれない。他の状況では、量子化済角度位置データ646が、1度の数分の1、1度、5度などといった精度内でターゲットの角度位置を示すように、より多くの量子化レベルが使用され得る。この分解能は、エアジェスチャー認識などのより高分解能のレーダーベースのアプリケーションのために、もしくは、ここに説明されるような注意モードまたは相互作用モードの実現化例において使用され得る。いくつかの実現化例では、デジタルビーム形成器316、角度推定器318、トラッカーモジュール640、および量子化器モジュール644は、単一の機械学習モジュールにおいてともに実現される。
図7は、4つの例示的なレーダーパイプライン702-1、702-2、702-3、および702-4を示す。レーダーパイプライン702の各々は、それぞれのレーダー電力状態704-1、704-2、704-3、および704-4に関連付けられたレーダー動作を行なう。存在前パイプライン702-1は、たとえば、ユーザ112の存在が正確には分からない場合に採用される。存在前パイプライン702-1は、環境を監視し、ユーザデバイス102が動くかどうか、または、環境内に動きがあるかどうか(それはユーザ112の存在を示し得る)を判断することができる。存在パイプライン702-2は、ユーザ112の存在を確信を持って判断するために使用される。ユーザ112がレーダーシステム104に近づくように動く場合、または、より高いデューティサイクル(たとえば速い更新レート)を使用して監視することが有利なある種の動きを行なう場合、認識パイプライン702-3が起動される。認識パイプライン702-3は、ユーザ112を追跡し、ユーザ112とユーザデバイス102との間の距離を監視してもよい。同様に、関与パイプライン702-4は、最も高いデューティサイクルでレーダーデータを収集するために採用され、それは、エアジェスチャー認識などの高度なレーダー手法をサポートし得る。関与パイプライン702-4は他のレーダーパイプライン702よりも多くの電力を消費するものの、より多い消費電力は、他のレーダーパイプライン702が確信を持ってまたは正確に評価することができないかもしれないユーザ112の小さい動きまたは速い動きが認識されることを可能にする。
レーダーパイプライン702-1、702-2、702-3、および702-4の各々は、存在前動作706、存在動作708、認識動作710、および関与動作712といった、それぞれのレーダー動作を採用する。これらのレーダー動作の各々は、レーダー電力状態704に従った特定のデューティサイクル、フレーミング構造、送信電力、またはハードウェアを利用してもよい。一般に、これらのレーダー動作は、環境を監視し、より低い電力またはより高い電力のレーダーパイプライン702を起動するトリガを検出する。図示されていないものの、これらのレーダー動作は、環境を監視してトリガを検出するために、2つ以上のレーダー電力状態704を利用してもよい。例示的なトリガは、動きまたは動きの欠如、ユーザが現われることまたはいなくなること、ユーザが指定領域(たとえば、範囲、方位角、または仰角によって定義された領域)に入ることまたは当該指定領域から出ること、ユーザに関連付けられた動きの速度の変化、もしくは、(たとえば、レーダー断面の変化による)反射信号強度の変化を含む。一般に、ユーザ(たとえばユーザ112)がユーザデバイス102と相互作用する可能性がより高いこと、または、より短い応答遅延を好むことを示すトリガは、より高い電力のレーダーパイプライン702を起動させてもよい。
デューティサイクルは、レーダーシステム104がどれくらい頻繁にアクティブであるか(たとえば、レーダー信号をアクティブに送信または受信しているか)を表わす。フレーミング構造は、レーダー信号の送信および受信に関連付けられた構成、スケジューリング、および信号特性を特定する。一般に、フレーミング構造は、適切なレーダーデータが外部環境に基づいて収集され得るようにセットアップされる。フレーミング構造は、異なるアプリケーション(たとえば、近接検出、機能認識、またはエアジェスチャー認識)のための異なるタイプのレーダーデータの収集を容易にするためにカスタマイズされ得る。フレーミング構造に基づいて、電力管理モジュール320は、電力を節約するために、図3-1および図3-2のトランシーバ306内のコンポーネントをオフにすることができる。
レーダー電力状態704はまた、レーダーシステム104が監視している範囲または距離に基づいて変わり得る送信電力に関連付けられ得る。たとえば、ユーザ112がコンピューティングデバイス102からより離れている場合、ユーザ112を検出するために、より高い送信電力が使用されてもよい。これに代えて、ユーザ112がコンピューティングデバイス102のより近くにいる場合、電力を節約するために、より低い送信電力が使用されてもよい。ハードウェアは、その消費電力が個々に制御され得るコンポーネント(たとえば、図3-1および図3-2のトランシーバ306のコンポーネント)、または、動作中に異なる量の電力を消費するコンポーネント(たとえば、図3-2の低電力プロセッサ308-1および高電力プロセッサ308-2)を含み得る。
図8は、時間が下向き方向に経過する、異なるレーダーパイプライン702をトリガするための例示的なシーケンスフロー図800を示す。802で、ユーザ112は存在しないかまたは検出可能範囲の外部にいる。たとえば、ユーザ112は、ユーザデバイス102から約数メートル(m)(たとえば、2mを超える距離)離れているかもしれない。したがって、レーダー電力状態704-1(たとえばアイドルモード)に関連付けられた低デューティサイクルを介して電力を節約するために、存在前パイプライン702-1が採用される。存在前パイプライン702-1はまた、環境を監視し、ユーザ112の存在を示し得る動きを検出するために、低電力プロセッサ308-1を利用してもよい。
804で、ユーザ112はユーザデバイス102に近づき、存在前パイプライン702-1は、ユーザ112の存在を確認するために存在パイプライン702-2をトリガする。一例として、ユーザ112は、ユーザデバイス102から数メートル(たとえば、約1~2m)以内にいるかもしれない。存在パイプライン702-2は、レーダー電力状態704-2(たとえば注意モード)に関連付けられた中~低デューティサイクルを使用する。ユーザ112が環境内で動き回るにつれて、ユーザ112がユーザデバイス102までの所定範囲内に来た場合、存在パイプライン702-2は、認識パイプライン702-3をトリガする。たとえば、認識パイプライン702-3は、ユーザ112がユーザデバイス102から1メートル以内といった近い距離内に来た場合にトリガされてもよい。ユーザ112の近接性により、存在パイプライン702-2はまた、ユーザデバイス102上のディスプレイ116を起動してもよく、または、ユーザデバイス102によって利用され得る他の非レーダーセンサ108をオンにしてもよい。たとえば、ユーザ112の画像を取り込むためにカメラセンサが起動されてもよい。他の例では、ユーザデバイス102の配向を判断するためにジャイロスコープまたは加速度計が起動されてもよく、もしくは、ユーザ112が不在着信を有する場合、または、新しい通信(たとえばテキストメッセージ)が利用可能である場合に可聴音を提供するためにスピーカが起動されてもよい。
806で、認識パイプライン702-3は、レーダー電力状態704-3(たとえば注意モード)に関連付けられた中~高デューティサイクルを使用して、ユーザ112の少なくとも1つの部分の場所または動きを追跡して監視する。ユーザ112はユーザデバイス102の近くにいるものの、ユーザ112は比較的動かないかもしれず、または、ユーザデバイス102に関連付けられていない他のタスクを行なっているかもしれない。このため、中~高デューティサイクルは、ユーザ112がユーザデバイス102と相互作用する準備をしていることを示し得る変化をレーダーシステム104が検出することを可能にしつつ、レーダーシステム104が電力を節約することを可能にする。808で、ユーザ112は手を上げる。認識パイプライン702-3は、この動きが、ユーザ112がユーザデバイス102に向かって手を伸ばすことなどによってエアジェスチャーをするために手を適所に動かすことを示すと判断する。したがって、関与トリガが関与パイプライン702-4を起動する。この動きはまた、ユーザ112の部分が、ユーザデバイス102から数センチメートル(cm)以内(たとえば約50cm以内)といった、より近い距離内に来るようにしてもよい。この近接性は、関与パイプライン702-4を起動する別の関与トリガであってもよい。
810で、関与パイプライン702-4は、レーダー電力状態704-4(たとえば相互作用モード)に関連付けられた高デューティサイクルでレーダーデータを収集する。このデューティサイクルは、レーダーベースのアプリケーション206を介してユーザデバイス102を制御するために使用され得るエアジェスチャーを、レーダーシステム104が認識することを可能にする。レーダーパイプライン702は、図7ではカスケード形式で示され、または図8では順次起動されるが、レーダーパイプライン702のうちのいくつかは並列に動作可能である。
これらのおよび他の能力および構成と、図1~8のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。説明されるエンティティは、さらに分割されたり、組合されたり、他のセンサまたはコンポーネントとともに使用されたりしてもよい。このように、レーダーシステム104および非レーダーセンサの異なる構成を有するユーザデバイス102の異なる実現化例が、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを実現するために使用され得る。図1の例示的な動作環境100と、図2~8の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。
例示的なデバイス
上述のように、ここに説明される手法およびシステムはまた、ユーザデバイス102が、ユーザのデバイスとの暗黙的相互作用に基づいて機能性を提供することを可能にすることができる。図9および図10は、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例900および1000を示す。例示的な実現化例900および1000は、異なる事例902-1、902-2、902-3、902-4、902-5および902-6におけるユーザデバイス902(たとえばユーザデバイス102)を示す。ユーザ112がレーダー場110内で検出されない場合、マルチモードインターフェイス114は休止モード904で動作する。休止モード904では、マルチモードインターフェイス114は、画像またはオブジェクトがユーザデバイス902-1のディスプレイ116を介して表示されないように休止している。加えて、ディスプレイ116はオフ状態にあってもよく、図1からのレーダーシステム104はアイドルモードであってもよい。これらのモードおよび状態は、低電力動作モードおよび状態である。
ユーザ112がレーダー場110に入ると、レーダーシステム104は、ユーザ112からの反射されたレーダー信号に基づいてユーザ112を検出する。相互作用マネージャ106はこのレーダーデータを使用して、レーダー場110内のユーザ112の存在を判断する。ユーザ112の存在の検出に応答して、相互作用マネージャ106は、マルチモードインターフェイス114にモードを変更させる。この事例では、マルチモードインターフェイス114は、休止モード904を出て、アンビエントモード906に入る。マルチモードインターフェイス114がアンビエントモード906に入ると、ディスプレイスクリーンが中~高光度で点灯して、ユーザに挨拶するために、所定の持続時間の間、画像を見せる(たとえば、フェードインする)ように、デフォルトまたは定義済の表示パラメータ(たとえば光度、彩度)が、短い持続時間(たとえば0.5秒、1.0秒、1.25秒、1.5秒、2.0秒など)の間、適用されてもよい。このように、表示は、デバイスがユーザの存在を認識し、ユーザの動きに応答する準備ができているということをユーザに通知する。持続時間の満了後、光度は、画像が次第に目立たない状態になるように減少してもよい。たとえば、ディスプレイスクリーンは、消費電力を減少させるように、画像を隠すために、または画像のぼやけた彩度低下バージョンを提供するために暗くされてもよい。いくつかの実現化例では、ユーザインターフェイス要素のうちの1つ以上も、消費電力を減少させるために暗くされ、および/または彩度低下されてもよい。アンビエントモードでは、デバイスは、ユーザの動きに定期的に応答する(たとえば、ユーザの動きを検出するために低いサンプルレートを使用する)。低いサンプルレートは、モバイルデバイスが低消費電力を維持することを可能にする。
図9では、星の画像908とロックアイコン910とを含む1つ以上のオブジェクトおよび/または画像が、当該持続時間の間、部分的または完全な光度で提示される。マルチモードインターフェイス114の背景も、デフォルトまたは定義済の光度および彩度で提供されてもよい。クロック要素912(時間および/または暦日付を示す)、もしくは、通知項目(たとえばアイコン、バッジ、バナーなど)、カメラアプリケーションなどの特定のアプリケーションへのアクセスツールなどを含む他の項目(図示せず)といった、他の要素も含まれていてもよい。
持続時間の満了に応答して、相互作用マネージャ106は、1つ以上の表示パラメータ(たとえば光度、彩度)を調節してマルチモードインターフェイス114を暗くし、それは消費電力を減少させる。これは、ユーザデバイス902が、ユーザ112によるユーザデバイス902との明示的相互作用を検出しないことに基づく。マルチモードインターフェイス114のアンビエントモードのこの暗くなった状態では、表示されるオブジェクトおよび画像は、低光度およびゼロまたは低彩度(たとえば、白黒、グレースケール)で維持されてもよい。たとえば、ユーザデバイス902-3に示されるように、クロック要素912は表示されたままであるものの、ロックアイコン910は除去される。しかしながら、ロックアイコン910(または他の要素)は表示されたままであってもよい。マルチモードインターフェイス114の背景は、光度減少の一環として暗くなる。また、画像908は、低光度バージョン(低輝度、ゼロまたは低彩度、高または低コントラスト、もしくはそれらの任意の組合せを含む)へと薄れていく。オプションで、画像908は、ユーザ112に見えないように十分に暗くなってもよい。ユーザ112がレーダー場110内に存在し、かつ、タッチジェスチャーまたはエアジェスチャーのいずれかによってユーザデバイス902と明示的に相互作用していない間、マルチモードインターフェイス114はアンビエントモード906のままであってもよい。むしろ、ユーザはユーザ入力を入力するためにユーザデバイス902とアクティブに相互作用していないため、ユーザの存在は暗黙的相互作用であると考えられる。
図10へ進んで、アンビエントモード906にいる間にユーザ112がユーザデバイス902に手を伸ばすと、相互作用マネージャ106は、マルチモードインターフェイスがアンビエントモード906を出てアラートモード1002に入るようにする。ユーザの手1004がユーザデバイス902に向かって動くにつれて、相互作用マネージャ106は、マルチモードインターフェイス114の光度などの1つ以上のパラメータを調節する。これらのパラメータの調節速度は、ユーザの手1004とユーザデバイス902との間の距離、その距離が減少する速度、および/または、ユーザデバイス902に対するユーザの手1004の位置を含む、ユーザの手1004およびその動きに関連付けられたさまざまな要因に基づいていてもよい。アラートモード1002では、マルチモードインターフェイス114は、ユーザの手1004の動きに対応する連続応答視覚フィードバックを提供する。
図示された例では、ユーザの手1004がユーザデバイス902-4に向かって伸び始めると、画像908の高光度部分のみが、マルチモードインターフェイス114において見える。ロックアイコン910のぼやけたバージョンも、マルチモードインターフェイス114上で維持される。ユーザの手1004がユーザデバイス902により近づくにつれて(たとえば902-5)、画像908は、光度または他の表示パラメータに基づいて徐々に明らかにされる。画像908(およびロックアイコン910などの他のオブジェクト)のさまざまな部分がますます見えるようになり、明るくなる。これが生じる速度は、ユーザの手1004とユーザデバイス902との間の距離の減少速度(たとえば、レーダーシステムが認識パイプラインにあり、および/または、マルチモードインターフェイス114がアラートモード1002にある間に、ユーザの手1004がユーザデバイス902に向かってどれくらい速く動くか)に正比例していてもよい。局面では、画像908は彩度低下状態(たとえばグレースケール)のままであり、ユーザの手1004がユーザデバイス902-5により近づくにつれて、より多くの色調(たとえばグレーの陰影)が画像908に適用される。オプションで、1つ以上のパラメータはまた、マルチモードインターフェイス114の背景を明るくするために調節されてもよい。しかしながら、マルチモードインターフェイス114のアラートモード1002は、ユーザデバイス902の低電力動作状態に関連付けられているため、暗い背景を維持することは、マルチモードインターフェイス114の光度および/または他の表示パラメータを増加させる場合に消費電力を最小化するのに役立ち得る。
この点で、ユーザ112が自分の手1004をユーザデバイス902-5から遠ざける場合、相互作用マネージャ106は、上述の効果を逆に適用して、マルチモードインターフェイス114を(ユーザデバイス902-4で示された)アラートモード1002の暗くなった状態に戻すために、画像908が徐々に暗くなる(たとえば、光度が徐々に減少する)ようにする。ユーザの手1004とユーザデバイス902との間の距離がしきい値距離よりも大きくなる場合、相互作用マネージャ106は、マルチモードインターフェイス114がアラートモード1002を出てアンビエントモード906に再び入るようにしてもよい。
このように、マルチモードインターフェイス114は、ユーザ112がユーザデバイス902に向かって手を伸ばす(またはユーザデバイス902から手を遠ざける)につれて、ユーザの手1004の位置情報および動きに対応する連続応答視覚フィードバックを提供する。視覚フィードバックの形で提示されるこの連続応答性は、ユーザデバイス902がユーザの動きを認識していることをユーザ112が知ることを可能にし、それは、低電力状態またはロック状態にある間のユーザデバイスの認識および能力についてユーザ112に教えるよう機能する。
ユーザデバイス902に対するユーザの動きへのユーザデバイスの応答性に関するユーザ体験をさらに高めるために、相互作用マネージャ106は、ユーザ112がユーザデバイス902によって認証されたことに応答して、マルチモードインターフェイス114がアクティブモード1006に入るようにしてもよい。アラートモード1002からアクティブモード1006に移行すると、マルチモードインターフェイス114の彩度は、画像908が徐々に色で満たされるように増加される。したがって、ユーザデバイス902-6は、高光度および彩度表示を提供することによって、ユーザ112がすでに認証されており、ユーザデバイス902への完全なアクセス権が与えられていることを示すために、色の使用を通して視覚フィードバックを提供する。加えて、マルチモードインターフェイス114は、ユーザデバイスに対するユーザまたはユーザの手の位置情報および動きに対応する連続応答視覚フィードバックを提供する。マルチモードインターフェイス114はまた、他の局面において、1つ以上の表示要素の位置を変更するかまたは当該表示要素を置き換える(たとえば、ロックアイコン910をロック解除アイコン1008に置き換える)ことなどによって、ユーザ112の認証に基づいて調節され得る。これらの修正は、ユーザデバイス902のホーム画面の提示に先立って、またはホーム画面の提示の一環として生じ得る。ホーム画面および追加のページは、アクティブモード1006においてマルチモードインターフェイス114を介して提示されてもよい。画像908および/または他のオブジェクトまたは要素は、ホーム画面および追加のページに表示されたユーザインターフェイス要素と同時に、マルチモードインターフェイス114上で維持されてもよい。
図9および図10に関して説明された画像908は、ユーザデバイス902のオペレーティングシステムのテーマパッケージの一部として選択された静止画像であってもよい。これに代えて、画像908は、コンピュータ読取可能媒体204に格納された、デジタル写真または図面といった、ユーザによって選択された静止画像であってもよい。このように、ユーザ112は、ユーザデバイス902のマルチモードインターフェイス114を介して表示される画像をカスタマイズしてもよい。各画像は、それが光度変更に基づいてどのように徐々に明らかにされるかという点で一意的であってもよい。また、ユーザ112がユーザデバイス902に対して認証された場合、各画像は、それが彩度変更に基づいてどのように色で満たされるかという点で一意的であってもよい。
ユーザデバイス902に対するユーザ112の、レーダーによって検出された動きに対応する、マルチモードインターフェイス114の他の視覚効果も考えられる。たとえば、画像908は、静止画像ではなく、画像の監修された集合、関連する画像のファミリー、または一連の画像(たとえば映像)を含んでいてもよい。画像の集合は、ユーザデバイス902に対するユーザの手1004の動きおよび位置に関連する微妙なやり方で動くことなどによって、ユーザのユーザデバイス902との暗黙的相互作用に応答する1つ以上のオブジェクトまたは画像を生成するために使用され得る。これの一例を、図11-1に示す。
図11-1は、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例1100を示す。ここでは、ユーザデバイス902-3は、レーダー場110(図示せず)内でユーザ112の存在が検出されたことに基づいて、マルチモードインターフェイス114がアンビエントモード906(たとえば、暗くなった状態)である状態で図示されている。この例では、マルチモードインターフェイス114を介してオブジェクトが表示されていない。ユーザ112がユーザデバイス902-4に向かって手を伸ばし始めると、相互作用マネージャ106は、マルチモードインターフェイス114がアンビエントモード906を出てアラートモード1002に入るようにする。アラートモード1002では、小さな泡1102などの1つ以上のオブジェクトが、マルチモードインターフェイス114の側部から見え始める。ユーザの手1004がユーザデバイス902-5により近づくにつれて、泡1102は次第に、所定の場所に向かって動く。泡が動く速度は、ユーザの手1004とユーザデバイス902との間の距離が減少する速度に直接対応していてもよい。いくつかの局面では、ユーザの手1004がユーザデバイス902により近づくにつれて、泡1102は互いに結合してサイズが大きくなり(結合しつつある泡1104として示される)、所定の場所に大きい泡1106が1つだけある状態になる。所定の場所に向かうこの動きの間、泡1102、1104は、特にそれらが互いに結合するにつれて、より明るくなってもよい。ユーザの手1004がユーザデバイス902-5から遠ざかって動く場合、泡1104は互いから引き離され始め、マルチモードインターフェイス114の側部に向かって戻る。泡1102、1104の光度も、それらが互いから遠ざかって動くにつれて減少してもよい。
ある点で、ユーザ112は、(たとえば、パスワード、パスコード、指紋などに基づいて)ユーザ認識システムによってユーザデバイス902に対して認証されてもよい。ユーザ112が認証されたことに応答して、マルチモードインターフェイス114はアクティブモード1006に入る。アクティブモード1006に入ると、相互作用マネージャ106は、彩度などのマルチモードインターフェイス114の表示パラメータを調節する。ここで、1つの大きい泡1106はグレースケールからカラーへ徐々に進み、ユーザ112が完全な権利に対して認証されたという表示を提供する。ユーザデバイス902に対するユーザの手1004の位置に基づいて、追加の照明効果が適用されてもよい。ここで、ユーザの手1004はユーザデバイス902の右下側に位置しており(縦向きモード配向である場合)、この位置付けに基づいて、照明効果は、あたかもユーザの手1004が泡1106に光を照らす光源であるかのように、泡1106に適用される。これに代えて、ユーザの手1004の位置付けは、光源がユーザの手1004に向かって照らしている視覚効果を生成するように、反対方向の照明効果を適用するために使用され得る。もちろん、照明効果は、ユーザの手1004の相対的な位置付けに基づいて、任意の好適な方向に適用され得る。
ユーザ112が認証されたことを示す適用された視覚効果の一環として、泡1106は異なる場所へ動いてもよい。たとえば、泡1106は、ユーザの手1004に向かって、またはユーザの手1004から遠ざかるように迅速に動いてもよい。泡1106はロックアイコン910に向かって動いてロックアイコン910と衝突してもよく、ロックアイコン910がロック解除アイコン1008に置き換えられるようにする。これは、泡1106によってロックが壊されて開けられるという劇的効果を生み出してもよい。いくつかの局面では、泡1106は、形状、サイズ、または色を変更してもよい。したがって、マルチモードインターフェイス114がアクティブモード1006に入ることに応答してさまざまな変更が生じてもよい。
別の例では、画像の監修された集合は、マルチモードインターフェイス114のアラートモード1002の間、ユーザの手1004の動きおよび相対的な位置付けに基づいて動く、曲がる、および/または再形成する抽象的形状を含み得る。これは、上述のような光度の変更に追加されるものであってもよい。画像の各々は、ユーザデバイス902に対するユーザの手1004の位置に対応する一意的な位置決め情報(たとえば、ユーザデバイス902の配向に対するユーザの手1004の場所と組合された、ユーザデバイス902とユーザの手1004との間の距離)に関連付けられてもよい。これは、ユーザデバイス902に対してユーザの手1004がどこに位置付けられるか(近接性および方向)に基づいて、異なる画像が提示されることを可能にする。このように、ユーザデバイス902がロック状態にある間、抽象的形状または他の表示されたオブジェクトは、ユーザデバイス902のまわりのユーザの手の動きに微妙で面白いやり方で反応するように見えてもよい。これの一例を、図11-2に関して以下に説明する。
図11-2は、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの別の例示的な実現化例1150を示す。ここでは、ユーザデバイス902-3は、レーダー場110(図示せず)内でユーザの存在が検出されたことに基づいて、マルチモードインターフェイス114がアンビエントモード906である状態で図示されている。この例では、オブジェクト1152が、マルチモードインターフェイス114によって低光度表示で提供される。これらのオブジェクトは、ディスプレイ116を介してレンダリングされる。オブジェクト1152は、任意のオブジェクト、形状、または画像であり得る。オブジェクト1152は、マルチモードインターフェイス114のアンビエントモード906の間、初期位置を有しており、それの一例を、ユーザデバイス902-3のディスプレイ116上に示す。
ユーザ112がユーザデバイス902-4に向かって手を伸ばし始めると、相互作用マネージャ106は、マルチモードインターフェイス114がアンビエントモード906を出てアラートモード1002に入るようにする。アラートモード1002では、オブジェクト1152のうちの1つ以上が動く。ユーザの手1004がユーザデバイス902-5により近づくにつれて、オブジェクト1152は動き続ける。オブジェクト1152が動く速度および/または距離は、ユーザの手1004とユーザデバイス902との間の距離が減少する速度に直接対応していてもよい。オブジェクト1152は任意の方向に動くことができ、ユーザの手1004がユーザデバイス902にどれくらい近いかに基づいて方向を変更することができる。ある方向にシフトすることに加えて、またはそれに代えて、オブジェクト1152の動きは、任意の方向における3D回転を含んでいてもよい。また、各オブジェクト1152は、他のオブジェクト1152から独立して動いてもよい。また、ユーザの手1004がユーザデバイス902に近づくにつれて、オブジェクト1152のうちの1つ以上が、その形状またはサイズを変更してもよい。
上述の実現化例と同様に、マルチモードインターフェイス114は、アンビエントモード906の間と、アラートモード1002の間の最初とに、低光度表示を提供してもよい。アラートモード1002の間の光度は、ユーザデバイス902とユーザの手1004との間の変化する距離に基づいて調節可能である。いくつかの局面では、マルチモードインターフェイス114は、アンビエントモード906およびアラートモード1002の間、モノクロ表示を提供する。これに代えて、マルチモードインターフェイス114は、これらのモードの間、低彩度表示を提供することができる。
ユーザがユーザデバイス902に対して認証されたことに応答して、マルチモードインターフェイス114はアクティブモード1006に入る。アクティブモード1006に入ると、相互作用マネージャ106は、彩度などのマルチモードインターフェイス114の表示パラメータを調節する。ここで、オブジェクト1152はグレースケールからカラーへ進み、ユーザ112が完全な権利に対して認証されたという視覚表示を提供する。たとえば、ユーザデバイス902-6上に示されるように、マルチモードインターフェイス114は高光度および高彩度表示を提供する。説明された他の実現化例と同様に、追加の照明効果が任意の好適なやり方でオブジェクト1152に適用され得る。オブジェクト1152はまた、認証に応答してさらに動くことができる。ここで、オブジェクト1152は、アンビエントモード906におけるそれらの元の位置に向かって戻る。しかしながら、オブジェクト1152は、それらの元の位置に到達しても到達しなくてもよい。
例示的な方法
図12は、ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスの電力モードを管理するための例示的な方法1200を示す。局面では、電力モードは、ユーザによるユーザデバイスとの暗黙的相互作用のレベルに基づいて管理される。方法1200は、レーダー場を提供するためのレーダーシステム104を使用するユーザデバイス102によって行なわれ得る。レーダー場は、レーダー場内のユーザの存在、および、ユーザデバイスに対するユーザの動きといった、ユーザのユーザデバイスとの暗黙的相互作用を判断するために使用される。ユーザの存在および動きの判断に基づいて、電子デバイスは、レーダー電力状態をレーダーシステムに適用し、対応する電力モードをマルチモードインターフェイスに適用して、異なる機能性モードに出入りするようにする。
方法1200は、行なわれる動作を特定する1組のブロックとして示されるが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、図2~11に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
1202で、電力管理モジュールが、ユーザデバイスのレーダーシステムを、複数のレーダー電力状態のうちの第1のレーダー電力状態で維持する。この電力管理モジュール(たとえば電力管理モジュール320)は、ユーザがユーザデバイスに十分に関与していない場合に消費電力を減少させるために、ユーザによるユーザデバイスとの相互作用のレベルに基づいて、レーダーシステム(たとえばレーダーシステム104)のレーダー電力状態を制御する。レーダー電力状態の各々は、異なる最大電力使用限度を有する。局面では、各レーダー電力状態は、異なるデューティサイクルを使用する。上述の第1のレーダー電力状態は、レーダー場(たとえばレーダー場110)を生成し、レーダー場内のユーザ(たとえばユーザ112)からの反射を検知するのに十分である。
1204で、相互作用マネージャが、検知された反射に基づいて、レーダー場内のユーザの存在または動きを判断する。相互作用マネージャ(たとえば、マルチモードインターフェイス114も含み得る相互作用マネージャ106)は、レーダーシステム104から、検知された反射を表わすレーダーデータを取得することができる。このレーダーデータを使用して、相互作用マネージャは、ユーザがレーダー場に入ってきていること、ユーザが、ユーザデバイスと明示的に相互作用することなく、レーダー場内に存在するかまたはレーダー場内で動いていること、ユーザの動きが、ユーザの手がユーザデバイスに向かって、またはユーザデバイスから遠ざかって動くことを含むこと、もしくは、ユーザがレーダー場を出ていっていることを検出することができる。
1206で、レーダー場内のユーザの存在または動きを判断することに応答して、電力管理モジュールは、レーダーシステムを、複数のレーダー電力状態のうちの第2のレーダー電力状態に変更させる。局面では、第2のレーダー電力状態は、第1のレーダー電力状態とは異なる機能性を可能にする。たとえば、電力管理モジュールは、レーダーシステムが、第2のレーダー電力状態に対応する存在動作を実行することを可能にすることができる。存在動作は、少なくとも、レーダー場内のユーザの存在と、ユーザによるユーザデバイスとの暗黙的相互作用を判断するために使用可能な他のデータとを検出するために、レーダーデータを提供するように構成されてもよい。また、存在動作は、マルチモードインターフェイスのアンビエントモードに対応していてもよい。別の例では、電力管理モジュールは、レーダーシステムが、第2のレーダー電力状態に対応する認識動作を実行することを可能にすることができる。認識動作は、レーダー場内のユーザの存在と、ユーザによるユーザデバイスとの暗黙的相互作用を判断するために使用可能な他のレーダーデータとを検出するために、レーダーデータを提供するように構成されてもよい。また、認識動作は、マルチモードインターフェイスのアラートモードに対応していてもよい。さらに別の例では、ユーザがまた、ユーザデバイスに対して認証された場合、電力管理モジュールは、レーダーシステムが、第2のレーダー電力状態に対応する関与動作を実行することを可能にすることができる。関与動作は、ユーザがユーザデバイスと明示的に相互作用することを可能にするレーダーベースのエアジェスチャーを検出して処理するために使用可能な他のレーダーデータを、レーダーシステムが提供することを可能にする。
1208で、レーダーシステムが第2のレーダー電力状態に変更されることに応答または付随して、相互作用マネージャモジュールは、マルチモードインターフェイスのための複数の電力モードから電力モードを選択する。相互作用マネージャモジュールはレーダーデータを使用して、ユーザによるユーザデバイスとの相互作用のレベルを判断し、次に、マルチモードインターフェイスのための複数の電力モードのうちのどの電力モードが、相互作用のレベルに最良に適しているかを選択することができる。局面では、複数の電力モードのうちの少なくとも2つは、レーダーシステムの複数のレーダー電力状態のうちの異なるレーダー電力状態に対応していてもよい。たとえば、マルチモードインターフェイスの休止モードは、レーダーシステムの(たとえば、存在前パイプラインにおいて低デューティサイクルを使用する)アイドルモードに対応していてもよい。マルチモードインターフェイスのアンビエントモードは、レーダーシステムの(たとえば、存在パイプラインにおいて中~低デューティサイクルを使用する)注意モードに対応していてもよい。マルチモードインターフェイスのアラートモードは、レーダーシステムの(たとえば、認識パイプラインにおいて中~高デューティサイクルを使用する)注意モードに対応していてもよい。マルチモードインターフェイスのアクティブモードは、レーダーシステムの(たとえば、関与パイプラインにおいて高デューティサイクルを使用する)相互作用モードに対応していてもよい。これに代えて、マルチモードインターフェイスの電力モードは、レーダー電力状態から独立して選択され適用されてもよい。一例では、マルチモードインターフェイスの電力モードは、レーダー電力状態を第1のレーダー電力状態から第2のレーダー電力状態に変更する前に、または、変更することなく、選択され適用されてもよい。
1210で、相互作用マネージャは、対応する表示を提供するために、選択された電力モードをマルチモードインターフェイスに適用する。相互作用マネージャは、マルチモードインターフェイスを介して、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を含む任意の好適な表示を提供することができる。局面では、相互作用マネージャは、マルチモードインターフェイスのための選択された電力モードがアンビエントモードであることに応答して、低光度表示を提供する。選択された電力モードがアラートモードである場合、相互作用マネージャは、ユーザデバイスに対するユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有するモノクロ表示を提供する。選択された電力モードがアクティブモードである場合、相互作用マネージャは高光度および彩度表示を提供する。選択された電力モードが休止モードである場合、マルチモードインターフェイスは黒色表示を提供する。
例示的なコンピューティングシステム
図13は、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを実現するために、前述の図1~12を参照して説明されたような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステム1300のさまざまなコンポーネントを示す。
コンピューティングシステム1300は、デバイスデータ1304(たとえば、レーダーデータ、認証データ、参照データ、受信されたデータ、受信中のデータ、同報通信のためにスケジューリングされたデータ、および、データのデータパケット)の有線および/または無線通信を可能にする通信デバイス1302を含む。デバイスデータ1304または他のデバイスコンテンツは、デバイスの構成設定、デバイス上に格納されたメディアコンテンツ、および/またはデバイスのユーザに関連付けられた情報(たとえば、レーダー場内の人間のアイデンティティ、またはカスタマイズされたエアジェスチャーデータ)を含み得る。コンピューティングシステム1300上に格納されたメディアコンテンツは、任意のタイプのレーダーデータ、生体認証データ、音声データ、映像データ、および/または画像データを含み得る。コンピューティングシステム1300は1つ以上のデータ入力1306を含み、それを介して、人間の発話、レーダー場との相互作用、タッチ入力、ユーザ選択可能な入力または相互作用(明示的または暗黙的)、メッセージ、音楽、テレビメディアコンテンツ、録画された映像コンテンツ、ならびに、任意のコンテンツおよび/またはデータソースから受信された任意の他のタイプの音声データ、映像データ、および/または画像データといった、任意のタイプのデータ、メディアコンテンツ、および/または入力が受信され得る。
コンピューティングシステム1300はまた、通信インターフェイス1308を含み、それは、シリアルおよび/またはパラレルインターフェイス、無線インターフェイス、任意のタイプのネットワークインターフェイス、モデムのうちのいずれか1つ以上として、および任意の他のタイプの通信インターフェイスとして実現され得る。通信インターフェイス1308は、コンピューティングシステム1300と、他の電子デバイス、コンピューティングデバイス、および通信デバイスがコンピューティングシステム1300とデータを通信するための通信ネットワークとの間に、接続および/または通信リンクを提供する。
コンピューティングシステム1300は、1つ以上のプロセッサ1310(たとえば、マイクロプロセッサ、コントローラ、または他のコントローラのうちのいずれか)を含み、それは、コンピューティングシステム1300の動作を制御するための、および、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムのための手法または当該レーダーシステムが具現化され得る手法を可能にするための、さまざまなコンピュータ実行可能命令を処理することができる。それに代えて、またはそれに加えて、コンピューティングシステム1300は、ハードウェア、ファームウェア、または、概して1312で識別される処理および制御回路に関連して実現される固定論理回路のうちのいずれか1つまたはそれらの組合せを用いて実現され得る。図示されていないものの、コンピューティングシステム1300は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、ならびに/もしくは、さまざまなバスアーキテクチャのうちのいずれかを利用するプロセッサまたはローカルバスといった、異なるバス構造のうちのいずれか1つまたはそれらの組合せを含み得る。
コンピューティングシステム1300はまた、(単なる信号伝送とは対照的な)永続的および/または非一時的なデータ記憶を可能にする1つ以上のメモリデバイスといった、コンピュータ読取可能媒体1314を含み、それの例は、ランダムアクセスメモリ(random access memory:RAM)、不揮発性メモリ(たとえば、読出専用メモリ(read-only memory:ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちのいずれか1つ以上)、およびディスク記憶デバイスを含む。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および/または書換可能コンパクトディスク(compact disc:CD)、任意のタイプのデジタル多用途ディスク(digital versatile disc:DVD)などといった、任意のタイプの磁気または光学記憶デバイスとして実現されてもよい。コンピューティングシステム1300はまた、大容量記憶媒体デバイス(記憶媒体)1316を含み得る。
コンピュータ読取可能媒体1314は、デバイスデータ1304、さまざまなデバイスアプリケーション1318、ならびに、コンピューティングシステム1300の動作局面に関する任意の他のタイプの情報および/またはデータを格納するためのデータ記憶メカニズムを提供する。たとえば、オペレーティングシステム1320は、コンピュータ読取可能媒体1314でコンピュータアプリケーションとして維持され、プロセッサ1310上で実行され得る。デバイスアプリケーション1318は、任意の形の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象化モジュール、エアジェスチャー認識モジュール、および他のモジュールといった、デバイスマネージャを含んでいてもよい。デバイスアプリケーション1318はまた、レーダーシステム104またはレーダーベースの相互作用マネージャ106といった、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを実現するためのシステムコンポーネント、エンジン、モジュール、またはマネージャを含んでいてもよい。コンピューティングシステム1300はまた、1つ以上の機械学習システムを含むか、または、1つ以上の機械学習システムへのアクセスを有していてもよい。
いくつかの例を以下に説明する。
例1
ユーザデバイスであって、
少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、レーダーシステムは、
レーダー場を生成し、レーダー場内のユーザからの反射に対応するレーダーデータを提供し、
第1のレーダー電力状態と第2のレーダー電力状態とを含む複数のレーダー電力状態のうちの1つで動作するように構成され、複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、ユーザデバイスはさらに、
レーダー場内のユーザの存在または動きを検出するためにレーダーデータを分析するように構成されたプロセッサと、
電力管理モジュールとを含み、電力管理モジュールは、
レーダーシステムを第1のレーダー電力状態で維持するように構成され、第1のレーダー電力状態は少なくとも、レーダー場内のユーザの存在または動きを検出するのに十分であり、電力管理モジュールはさらに、
ユーザの存在または動きの判断に基づいて、レーダーシステムを第2のレーダー電力状態に変更させるように構成され、ユーザデバイスはさらに、
相互作用マネージャモジュールを含み、相互作用マネージャモジュールは、
ユーザの存在または動きの判断に基づいて、レーダーシステムの複数のレーダー電力状態のうちの異なるレーダー電力状態に対応する複数の電力モードから、マルチモードインターフェイスの電力モードを選択し、
対応する表示を提供するために、選択された電力モードをマルチモードインターフェイスに適用するように構成され、対応する表示は、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を含む、ユーザデバイス。
例2
レーダーデータは、ユーザが、ユーザデバイスと明示的に相互作用することなく、ユーザデバイスの所定範囲内に存在するかまたは所定範囲内で動いていることを示すように、電力管理モジュールによって定められ、
ユーザが、ユーザデバイスと明示的に相互作用することなく、ユーザデバイスの所定範囲内に存在するかまたは所定範囲内で動いていることをレーダーデータが示すことに応答して、電力管理モジュールは、第2のレーダー電力状態とレーダーデータによって示された相互作用のレベルとの間の相関に基づいて、複数のレーダー電力状態から第2のレーダー電力状態を選択し、
第2のレーダー電力状態は認識動作を可能にし、認識動作では、レーダーシステムは、ユーザの存在か、または、ユーザデバイスに対するユーザのしきい値動きを判断するために使用可能な他のレーダーデータを提供するように構成され、
ユーザが、ユーザデバイスと明示的に相互作用することなく、ユーザデバイスの所定範囲内に存在するかまたは所定範囲内で動いていることをレーダーデータが示すことに応答して、相互作用管理モジュールは、マルチモードインターフェイスの電力モードを、アンビエントモードとなるように選択し、アンビエントモードは、マルチモードインターフェイスが低光度表示を提供することを可能にする、例1に記載のユーザデバイス。
例3
レーダーデータは、ユーザの動きが、ユーザの手がユーザデバイスに向かって動いていることを含むことを示すように、電力管理モジュールによって定められ、
ユーザの動きが、ユーザの手がユーザデバイスに向かって動いていることを含むことをレーダーデータが示すことに応答して、電力管理モジュールは、第2のレーダー電力状態とレーダーデータによって示された相互作用のレベルとの間の相関に基づいて、複数のレーダー電力状態から、レーダーシステムの第2のレーダー電力状態を選択し、
第2のレーダー電力状態は関与動作を可能にし、関与動作では、レーダーシステムは、存在か、または、ユーザデバイスに対するユーザによるしきい値動きを判断するために使用可能な他のレーダーデータを提供するように構成され、
ユーザの動きが、ユーザの手がユーザデバイスに向かって動いていることを含むことをレーダーデータが示すことに応答して、相互作用マネージャモジュールは、マルチモードインターフェイスの電力モードを、アラートモードとなるように選択し、
アラートモードは、マルチモードインターフェイスが、ユーザデバイスに対するユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有するモノクロ表示を提供することを可能にする、例1に記載のユーザデバイス。
例4
ユーザがユーザデバイスに対して認証されたことに応答して、電力管理モジュールは、関与動作を可能にするように第2のレーダー電力状態を選択し、
レーダーシステムは、関与動作の間、ユーザがユーザデバイスと明示的に相互作用することを可能にするレーダーベースのエアジェスチャーを検出して処理するために使用可能な他のレーダーデータを提供するように構成され、
ユーザがユーザデバイスに対して認証されたことに応答して、相互作用マネージャモジュールは、マルチモードインターフェイスの電力モードを、アクティブモードとなるように選択し、アクティブモードは、マルチモードインターフェイスが、
高光度および彩度表示を提供し、
ユーザデバイスに対するユーザまたはユーザの手の位置情報および動きに対応する連続応答視覚フィードバックを提供する、
ことを可能にする、例1に記載のユーザデバイス。
例5
レーダーシステムは、異なるデューティサイクルでデータを収集し、少なくとも1つのコンポーネントがアクティブでない場合に少なくとも1つのコンポーネントをオフにし、および/または、電力増幅レベルを調節するように動作可能である、例1~4のいずれかに記載のユーザデバイス。
例6
表示の少なくとも1つの機能、特に、表示の色および/または光度は、ユーザまたはユーザの部分とユーザデバイスとの間の距離の減少量または減少速度に適応可能である、例1~5のいずれかに記載のユーザデバイス。
例7
レーダーシステムの複数のレーダー電力状態は少なくとも、低デューティサイクルを使用するアイドルモードと、中~低デューティサイクルまたは中~高デューティサイクルを使用する注意モードと、高デューティサイクルを使用する相互作用モードとを含み、
マルチモードインターフェイスの複数の電力モードは、休止モードと、アンビエントモードと、アラートモードと、アクティブモードとを含み、
休止モードは、レーダーシステムのアイドルモードに対応し、マルチモードインターフェイスが黒色表示を提供することを可能にし、
アンビエントモードは、中~低デューティサイクルを使用するレーダーシステムの注意モードに対応し、マルチモードインターフェイスが低光度表示を提供することを可能にし、
アラートモードは、中~高デューティサイクルを使用するレーダーシステムの注意モードに対応し、マルチモードインターフェイスが、ユーザデバイスに対する、ユーザデバイスから所定距離内にあるユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有するモノクロ表示を提供することを可能にし、
アクティブモードは、レーダーシステムの相互作用モードに対応し、マルチモードインターフェイスが高光度および彩度表示を提供することを可能にする、例1~6のいずれかに記載のユーザデバイス。
例8
レーダーシステムの複数のレーダー電力状態は少なくとも、アイドルモードと、注意モードと、相互作用モードとを含み、
アイドルモードは、約30ミリワット(mW)以下の電力しか必要とせず、
注意モードは、約60mW以下の電力しか必要とせず、
相互作用モードは、約90mW以下の電力しか必要としない、例1~7のいずれかに記載のユーザデバイス。
例9
ユーザの動きは、ユーザがレーダー場を出ることを含み、
第2のレーダー電力状態は、レーダーシステムのための存在前動作に対応し、
マルチモードインターフェイスの選択された電力モードは、休止モードを含み、
休止モードでは、マルチモードインターフェイスは黒色表示を提供する、例1に記載のユーザデバイス。
例10
レーダーシステムは、特にシングルルックビーム形成器、マルチルック干渉計、またはマルチルックビーム形成器を使用して実現される、少なくとも1つのデジタルビーム形成器を含む、例1~9のいずれかに記載のユーザデバイス。
例11
少なくとも1つのデジタルビーム形成器は、操向されるかまたは操向されていない、広いかまたは狭い、もしくは、特に半球として、立方体として、扇として、円錐として、または円筒として形作られるレーダービームを形成するように動作可能である、例10に記載のユーザデバイス。
例12
レーダーシステムは、検出されたレーダー信号、特に振幅応答の差を分析するための少なくとも1つの角度推定器を含む、例1~11のいずれかに記載のユーザデバイス。
例13
ユーザデバイスで実現される、ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスの電力モードを管理するための方法であって、方法は、
電力管理モジュールが、ユーザデバイスのレーダーシステムを、複数のレーダー電力状態のうちの第1のレーダー電力状態で維持するステップを含み、複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、第1のレーダー電力状態は、レーダー場を生成し、レーダー場内のユーザからの反射を検知するのに十分であり、方法はさらに、
相互作用マネージャが、検知された反射に基づいて、レーダー場内のユーザの存在または動きを判断するステップと、
レーダー場内のユーザの存在または動きを判断するステップに応答して、電力管理モジュールが、レーダーシステムを、複数のレーダー電力状態のうちの第2のレーダー電力状態に変更させるステップと、
レーダーシステムが第2のレーダー電力状態に変更されることに応答または付随して、相互作用マネージャモジュールが、マルチモードインターフェイスのための複数の電力モードから電力モードを選択するステップとを含み、複数の電力モードのうちの少なくとも2つは、レーダーシステムの複数のレーダー電力状態のうちの異なるレーダー電力状態に対応し、方法はさらに、
相互作用マネージャが、対応する表示を提供するために、選択された電力モードをマルチモードインターフェイスに適用するステップを含み、対応する表示は、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を含む、方法。
例14
検知された反射に基づいて、ユーザが、ユーザデバイスと明示的に相互作用することなく、レーダー場内に存在するかまたはレーダー場内で動いていることを検出するステップと、
第2のレーダー電力状態への変更に基づいて、レーダーシステムの存在動作を可能にするステップとをさらに含み、存在動作は、ユーザの存在か、または、ユーザデバイスに対するユーザのしきい値動きを判断するために、検知された反射に対応するレーダーデータを提供するように構成され、方法はさらに、
マルチモードインターフェイスのための選択された電力モードがアンビエントモードであることに応答して、低光度表示を提供するステップを含み、アンビエントモードは、ユーザが、ユーザデバイスと明示的に相互作用することなく、レーダー場内に存在するかまたはレーダー場内で動いていることに基づいて選択される、例13に記載の方法。
例15
検知された反射に基づいて、ユーザの動きが、ユーザの手がユーザデバイスに向かって動いていることを検出するステップと、
第2のレーダー電力状態への変更に基づいて、レーダーシステムの認識動作を可能にするステップとを含み、認識動作は、ユーザを追跡し、ユーザとユーザデバイスとの間の距離を監視するために、検知された反射に基づいてレーダーデータを提供するように構成され、方法はさらに、
マルチモードインターフェイスのための選択された電力モードがアラートモードであることに応答して、ユーザデバイスに対するユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有するモノクロ表示を提供するステップを含む、例13または14のいずれかに記載の方法。
例16
レーダーシステムは、異なるデューティサイクルを用いてデータを収集し、少なくとも1つのコンポーネントがアクティブでない場合にコンポーネントをオフにし、および/または、電力増幅レベルを調節する、例13~15のいずれかに記載の方法。
例17
表示の少なくとも1つの機能、特に、表示の色および/または光度は、ユーザまたはユーザの部分とユーザデバイスとの間の距離の減少量および/または減少速度に適応する、例13~16のいずれかに記載の方法。
例18
少なくとも1つのデジタルビーム形成器が、操向されるかまたは操向されていない、広いかまたは狭い、もしくは、特に半球として、立方体として、扇として、円錐として、または円筒として形作られるレーダービームを形成するように動作する、例13~17のいずれかに記載の方法。
例19
レーダーシステムは、検出されたレーダー信号の振幅応答の差を分析する少なくとも1つの角度推定器を含む、例13~18のいずれかに記載の方法。
例20
ユーザデバイスに対してユーザを認証するステップと、
ユーザを認証するステップに応答して、
レーダーシステムの関与動作が、ユーザによるユーザデバイスとの明示的相互作用を表わすレーダーベースのエアジェスチャーを検出して処理するために、検知された反射に基づいてレーダーデータを提供することを可能にするステップと、
マルチモードインターフェイスのためにアクティブモードを選択して適用するステップと、
マルチモードインターフェイスのためにアクティブモードを選択して適用するステップに応答して、高光度および彩度表示を提供するステップとをさらに含む、例13~19のいずれかに記載の方法。
例21
マルチモードインターフェイスのためにアクティブモードを選択して適用するステップに応答して、ユーザを認証するステップに対応する視覚フィードバックを提供するために、1つ以上の照明効果を高光度および彩度表示に適用するステップをさらに含む、例13に記載の方法。
例22
レーダーシステムの複数のレーダー電力状態は少なくとも、低デューティサイクルを使用するアイドルモードと、中~低デューティサイクルまたは中~高デューティサイクルを使用する注意モードと、高デューティサイクルを使用する相互作用モードとを含み、
マルチモードインターフェイスの複数の電力モードは、休止モードと、アンビエントモードと、アラートモードと、アクティブモードとを含み、
休止モードは、レーダーシステムのアイドルモードに対応し、マルチモードインターフェイスが黒色表示を提供することを可能にし、
アンビエントモードは、中~低デューティサイクルを使用する注意モードに対応し、マルチモードインターフェイスが低光度表示を提供することを可能にし、
アラートモードは、中~高デューティサイクルを使用する注意モードに対応し、マルチモードインターフェイスが、ユーザデバイスに対する、ユーザデバイスから所定距離内にあるユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有するモノクロ表示を提供することを可能にし、
アクティブモードは、レーダーシステムの相互作用モードに対応し、マルチモードインターフェイスが高光度および彩度表示を提供することを可能にする、例13~21のいずれかに記載の方法。
例23
レーダーシステムの複数のレーダー電力状態は少なくとも、アイドルモードと、注意モードと、相互作用モードとを含み、
アイドルモードは、約30ミリワット(mW)以下の電力しか必要とせず、
注意モードは、約60mW以下の電力しか必要とせず、
相互作用モードは、約90mW以下の電力しか必要としない、例13~22のいずれかに記載の方法。
例24
判断するステップは、ユーザの動きが、ユーザがレーダー場を出ることを含むと判断するステップを含み、
方法は、ユーザがレーダー場を出ると判断するステップに応答して、第2のレーダー電力状態を、アイドル状態となるように選択するステップを含み、レーダーシステムのアイドル状態は、レーダーシステムのための存在前動作に対応し、
マルチモードインターフェイスの選択された電力モードは、休止モードを含み、マルチモードインターフェイスの休止モードは、レーダーシステムのアイドル状態に対応し、
休止モードは、マルチモードインターフェイスが黒色表示を提供することを可能にする、例13に記載の方法。
結論
異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムのための手法および当該レーダーシステムを可能にする装置の実現化例が、機能および/または方法に特有の文言で説明されてきたが、請求項の主題は説明された特定の機能または方法に必ずしも限定されないということが理解されるべきである。むしろ、特定の機能および方法は、異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステムを可能にする例示的な実現化例として開示されている。

Claims (22)

  1. ユーザデバイスであって、
    少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、前記レーダーシステムは、
    レーダー場を生成し、前記レーダー場内のユーザからの反射に対応するレーダーデータを提供し、
    第1のレーダー電力状態と第2のレーダー電力状態とを含む複数のレーダー電力状態のうちの1つで動作するように構成され、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記ユーザデバイスはさらに、
    前記レーダー場内の前記ユーザの存在または動きを検出するために前記レーダーデータを分析するように構成されたプロセッサと、
    バッテリー電力管理モジュールとを含み、前記バッテリー電力管理モジュールは、
    前記レーダーシステムを前記第1のレーダー電力状態で維持するように構成され、前記第1のレーダー電力状態は少なくとも、前記レーダー場内の前記ユーザの前記存在または動きを検出するのに十分であり、前記バッテリー電力管理モジュールはさらに、
    前記ユーザの存在または動きの判断に基づいて、前記レーダーシステムを前記第2のレーダー電力状態に変更させるように構成され、前記ユーザデバイスはさらに、
    相互作用マネージャモジュールを含み、前記相互作用マネージャモジュールは、
    前記ユーザの存在または動きの前記判断に基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルの判断に基づいて、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応する複数のバッテリー電力モードから、マルチモードインターフェイスのバッテリー電力モードを選択し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するように構成され、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含み、
    記ユーザの前記動きが、前記ユーザの手が前記ユーザデバイスに向かって動いていることを含むことを前記レーダーデータが示すことに応答して、前記バッテリー電力管理モジュールは、前記第2のレーダー電力状態と前記レーダーデータによって示されるような前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルとの間の相関に基づいて、前記複数のレーダー電力状態から、前記レーダーシステムの前記第2のレーダー電力状態を選択し、
    前記第2のレーダー電力状態は関与動作を可能にし、前記関与動作では、前記レーダーシステムは、前記ユーザの存在か、または、前記ユーザデバイスに対する前記ユーザによるしきい値動きを判断するために使用可能な他のレーダーデータを提供するように構成され、
    前記ユーザの前記動きが、前記ユーザの手が前記ユーザデバイスに向かって動いていることを含むことを前記レーダーデータが示すことに応答して、前記相互作用マネージャモジュールは、前記マルチモードインターフェイスの前記バッテリー電力モードを、アラートモードとなるように選択し、
    前記アラートモードは、前記マルチモードインターフェイスが、前記ユーザデバイスに対する前記ユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有する前記低光度表示または前記モノクロ表示を提供することを可能にする、ユーザデバイス。
  2. ユーザデバイスであって、
    少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、前記レーダーシステムは、
    レーダー場を生成し、前記レーダー場内のユーザからの反射に対応するレーダーデータを提供し、
    第1のレーダー電力状態と第2のレーダー電力状態とを含む複数のレーダー電力状態のうちの1つで動作するように構成され、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記ユーザデバイスはさらに、
    前記レーダー場内の前記ユーザの存在または動きを検出するために前記レーダーデータを分析するように構成されたプロセッサと、
    バッテリー電力管理モジュールとを含み、前記バッテリー電力管理モジュールは、
    前記レーダーシステムを前記第1のレーダー電力状態で維持するように構成され、前記第1のレーダー電力状態は少なくとも、前記レーダー場内の前記ユーザの前記存在または動きを検出するのに十分であり、前記バッテリー電力管理モジュールはさらに、
    前記ユーザの存在または動きの判断に基づいて、前記レーダーシステムを前記第2のレーダー電力状態に変更させるように構成され、前記ユーザデバイスはさらに、
    相互作用マネージャモジュールを含み、前記相互作用マネージャモジュールは、
    前記ユーザの存在または動きの前記判断に基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルの判断に基づいて、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応する複数のバッテリー電力モードから、マルチモードインターフェイスのバッテリー電力モードを選択し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するように構成され、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含み、
    前記ユーザが前記ユーザデバイスに対して認証されたことに応答して、前記バッテリー電力管理モジュールは、関与動作を可能にするように前記第2のレーダー電力状態を選択し、
    前記レーダーシステムは、前記関与動作の間、前記ユーザが前記ユーザデバイスと明示的に相互作用することを可能にするレーダーベースのエアジェスチャーを検出して処理するために使用可能な他のレーダーデータを提供するように構成され、
    前記ユーザが前記ユーザデバイスに対して認証されたことに応答して、前記相互作用マネージャモジュールは、前記マルチモードインターフェイスの前記バッテリー電力モードを、アクティブモードとなるように選択し、前記アクティブモードは、前記マルチモードインターフェイスが、
    前記高光度および彩度表示を提供し、
    前記ユーザデバイスに対する前記ユーザまたは前記ユーザの手の位置情報および動きに対応する連続応答視覚フィードバックを提供する、
    ことを可能にするユーザデバイス。
  3. 前記レーダーシステムは、異なるデューティサイクルでデータを収集するか、少なくとも1つのコンポーネントがアクティブでない場合に前記少なくとも1つのコンポーネントをオフにするか、または、電力増幅レベルを調節するように動作可能である、請求項1または2に記載のユーザデバイス。
  4. 前記表示の少なくとも1つの機能は、前記ユーザまたは前記ユーザの部分と前記ユーザデバイスとの間の距離の減少量または減少速度に適応可能であり、前記少なくとも1つの機能は、前記表示の色または光度を含む、請求項1~のいずれか1項に記載のユーザデバイス。
  5. ユーザデバイスであって、
    少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、前記レーダーシステムは、
    レーダー場を生成し、前記レーダー場内のユーザからの反射に対応するレーダーデータを提供し、
    第1のレーダー電力状態と第2のレーダー電力状態とを含む複数のレーダー電力状態のうちの1つで動作するように構成され、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記ユーザデバイスはさらに、
    前記レーダー場内の前記ユーザの存在または動きを検出するために前記レーダーデータを分析するように構成されたプロセッサと、
    バッテリー電力管理モジュールとを含み、前記バッテリー電力管理モジュールは、
    前記レーダーシステムを前記第1のレーダー電力状態で維持するように構成され、前記第1のレーダー電力状態は少なくとも、前記レーダー場内の前記ユーザの前記存在または動きを検出するのに十分であり、前記バッテリー電力管理モジュールはさらに、
    前記ユーザの存在または動きの判断に基づいて、前記レーダーシステムを前記第2のレーダー電力状態に変更させるように構成され、前記ユーザデバイスはさらに、
    相互作用マネージャモジュールを含み、前記相互作用マネージャモジュールは、
    前記ユーザの存在または動きの前記判断に基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルの判断に基づいて、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応する複数のバッテリー電力モードから、マルチモードインターフェイスのバッテリー電力モードを選択し、
    前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するように構成され、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含み、
    前記レーダーシステムの前記複数のレーダー電力状態は少なくとも、低デューティサイクルを使用するアイドルモードと、中~低デューティサイクルまたは中~高デューティサイクルを使用する注意モードと、高デューティサイクルを使用する相互作用モードとを含み、
    前記マルチモードインターフェイスの前記複数のバッテリー電力モードは、アラートモードと、アクティブモードとを含み、
    記アラートモードは、前記中~高デューティサイクルを使用する前記レーダーシステムの前記注意モードに対応し、前記マルチモードインターフェイスが、前記ユーザデバイスに対する、前記ユーザデバイスから所定距離内にある前記ユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有する前記低光度表示または前記モノクロ表示を提供することを可能にし、
    前記アクティブモードは、前記レーダーシステムの前記相互作用モードに対応し、前記マルチモードインターフェイスが前記高光度および彩度表示を提供することを可能にする、ユーザデバイス。
  6. 前記マルチモードインターフェイスの前記複数のバッテリー電力モードは、休止モードと、アンビエントモードとをさらに含み、
    前記休止モードは、前記レーダーシステムの前記アイドルモードに対応し、前記マルチモードインターフェイスが黒色表示を提供することを可能にし、
    前記アンビエントモードは、前記中~低デューティサイクルを使用する前記レーダーシステムの前記注意モードに対応し、前記マルチモードインターフェイスが前記低光度表示を提供することを可能にする、請求項5に記載のユーザデバイス。
  7. 前記レーダーシステムの前記複数のレーダー電力状態は少なくとも、アイドルモードと、注意モードと、相互作用モードとを含み、
    前記アイドルモードは、約30ミリワット(mW)以下の電力しか必要とせず、
    前記注意モードは、約60mW以下の電力しか必要とせず、
    前記相互作用モードは、約90mW以下の電力しか必要としない、請求項1~のいずれか1項に記載のユーザデバイス。
  8. 前記ユーザの前記動きは、前記ユーザが前記レーダー場を出ることを含み、
    前記第2のレーダー電力状態は、前記レーダーシステムのための存在前動作に対応する、請求項に記載のユーザデバイス。
  9. 前記レーダーシステムは、少なくとも1つのデジタルビーム形成器を含み、前記少なくとも1つのデジタルビーム形成器は、シングルルックビーム形成器、マルチルック干渉計、またはマルチルックビーム形成器を使用して実現される、請求項1~のいずれか1項に記載のユーザデバイス。
  10. 前記少なくとも1つのデジタルビーム形成器は、半球、立方体、扇、円錐、または円筒として形作られるレーダービームを形成するように動作可能である、請求項に記載のユーザデバイス。
  11. 前記レーダーシステムは、検出されたレーダー信号の振幅応答の差を分析するための少なくとも1つの角度推定器を含む、請求項1~10のいずれか1項に記載のユーザデバイス。
  12. ユーザデバイスで実現される、前記ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスのバッテリー電力モードを管理するための方法であって、前記方法は、
    バッテリー電力管理モジュールが、前記ユーザデバイスのレーダーシステムを、複数のレーダー電力状態のうちの第1のレーダー電力状態で維持するステップを含み、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記第1のレーダー電力状態は、レーダー場を生成し、前記レーダー場内のユーザからの反射を検知するのに十分であり、前記方法はさらに、
    相互作用マネージャが、検知された前記反射に基づいて、前記レーダー場内の前記ユーザの存在または動きを判断するステップと、
    前記レーダー場内の前記ユーザの前記存在または動きを判断するステップに応答して、前記バッテリー電力管理モジュールが、前記レーダーシステムを、前記複数のレーダー電力状態のうちの第2のレーダー電力状態に変更させるステップと、
    前記レーダーシステムが前記第2のレーダー電力状態に変更されることに応答または付随して、
    前記レーダー場内の前記ユーザの判断された前記存在または動きに基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断するステップと、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルを判断するステップに基づいて、マルチモードインターフェイスのための複数のバッテリー電力モードからバッテリー電力モードを選択するステップとを含み、前記複数のバッテリー電力モードのうちの少なくとも2つは、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応し、前記方法はさらに、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの相互作用の前記レベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するステップを含み、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含
    検知された前記反射に基づいて、前記ユーザの前記動きが、前記ユーザの手が前記ユーザデバイスに向かって動いていることを検出するステップと、
    前記第2のレーダー電力状態への変更に基づいて、前記レーダーシステムの認識動作を可能にするステップとを含み、前記認識動作は、前記ユーザを追跡し、前記ユーザと前記ユーザデバイスとの間の距離を監視するために、検知された前記反射に基づいてレーダーデータを提供するように構成され、前記方法はさらに、
    前記マルチモードインターフェイスのための選択された前記バッテリー電力モードがアラートモードであることに応答して、前記ユーザデバイスに対する前記ユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有する前記低光度表示または前記モノクロ表示を提供するステップを含む、方法。
  13. 前記レーダーシステムは、異なるデューティサイクルを用いてデータを収集するか、少なくとも1つのコンポーネントがアクティブでない場合に前記コンポーネントをオフにするか、または、電力増幅レベルを調節する、請求項12に記載の方法。
  14. 前記表示の少なくとも1つの機能、特に、前記表示の色または光度は、前記ユーザまたは前記ユーザの部分と前記ユーザデバイスとの間の距離の減少量または減少速度に適応する、請求項12または13に記載の方法。
  15. 少なくとも1つのデジタルビーム形成器が、半球、立方体、扇、円錐、または円筒として形作られるレーダービームを形成するように動作する、請求項1214のいずれか1項に記載の方法。
  16. 前記レーダーシステムは、検出されたレーダー信号の振幅応答の差を分析する少なくとも1つの角度推定器を含む、請求項1215のいずれか1項に記載の方法。
  17. ユーザデバイスで実現される、前記ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスのバッテリー電力モードを管理するための方法であって、前記方法は、
    バッテリー電力管理モジュールが、前記ユーザデバイスのレーダーシステムを、複数のレーダー電力状態のうちの第1のレーダー電力状態で維持するステップを含み、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記第1のレーダー電力状態は、レーダー場を生成し、前記レーダー場内のユーザからの反射を検知するのに十分であり、前記方法はさらに、
    相互作用マネージャが、検知された前記反射に基づいて、前記レーダー場内の前記ユーザの存在または動きを判断するステップと、
    前記レーダー場内の前記ユーザの前記存在または動きを判断するステップに応答して、前記バッテリー電力管理モジュールが、前記レーダーシステムを、前記複数のレーダー電力状態のうちの第2のレーダー電力状態に変更させるステップと、
    前記レーダーシステムが前記第2のレーダー電力状態に変更されることに応答または付随して、
    前記レーダー場内の前記ユーザの判断された前記存在または動きに基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断するステップと、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルを判断するステップに基づいて、マルチモードインターフェイスのための複数のバッテリー電力モードからバッテリー電力モードを選択するステップとを含み、前記複数のバッテリー電力モードのうちの少なくとも2つは、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応し、前記方法はさらに、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの相互作用の前記レベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するステップを含み、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含み、
    前記ユーザデバイスに対して前記ユーザを認証するステップと、
    前記ユーザを認証するステップに応答して、
    前記レーダーシステムの関与動作が、前記ユーザによる前記ユーザデバイスとの明示的相互作用を表わすレーダーベースのエアジェスチャーを検出して処理するために、検知された前記反射に基づいてレーダーデータを提供することを可能にするステップと、
    前記マルチモードインターフェイスのためにアクティブモードを選択して適用するステップと、
    前記マルチモードインターフェイスのために前記アクティブモードを選択して適用するステップに応答して、前記高光度および彩度表示を提供するステップとをさらに含む、方法。
  18. 前記高光度および彩度表示を提供するステップに応答して、前記ユーザを認証するステップに対応する視覚フィードバックを提供するために、1つ以上の照明効果を前記高光度および彩度表示に適用するステップをさらに含む、請求項17に記載の方法。
  19. ユーザデバイスで実現される、前記ユーザデバイスのレーダーシステムのレーダー電力状態に基づいてマルチモードインターフェイスのバッテリー電力モードを管理するための方法であって、前記方法は、
    バッテリー電力管理モジュールが、前記ユーザデバイスのレーダーシステムを、複数のレーダー電力状態のうちの第1のレーダー電力状態で維持するステップを含み、前記複数のレーダー電力状態は各々、異なる最大電力使用限度を有し、前記第1のレーダー電力状態は、レーダー場を生成し、前記レーダー場内のユーザからの反射を検知するのに十分であり、前記方法はさらに、
    相互作用マネージャが、検知された前記反射に基づいて、前記レーダー場内の前記ユーザの存在または動きを判断するステップと、
    前記レーダー場内の前記ユーザの前記存在または動きを判断するステップに応答して、前記バッテリー電力管理モジュールが、前記レーダーシステムを、前記複数のレーダー電力状態のうちの第2のレーダー電力状態に変更させるステップと、
    前記レーダーシステムが前記第2のレーダー電力状態に変更されることに応答または付随して、
    前記レーダー場内の前記ユーザの判断された前記存在または動きに基づいて、前記ユーザによる前記ユーザデバイスとの相互作用のレベルを判断するステップと、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの前記相互作用のレベルを判断するステップに基づいて、マルチモードインターフェイスのための複数のバッテリー電力モードからバッテリー電力モードを選択するステップとを含み、前記複数のバッテリー電力モードのうちの少なくとも2つは、前記レーダーシステムの前記複数のレーダー電力状態のうちの異なるレーダー電力状態に対応し、前記方法はさらに、
    前記相互作用マネージャが、前記ユーザによる前記ユーザデバイスとの相互作用の前記レベルに対応する視覚フィードバックを提供する対応する表示を提供するために、選択された前記バッテリー電力モードを前記マルチモードインターフェイスに適用するステップを含み、前記対応する表示は、低光度表示、モノクロ表示、または、高光度および彩度表示を含み、
    前記レーダーシステムの前記複数のレーダー電力状態は少なくとも、低デューティサイクルを使用するアイドルモードと、中~低デューティサイクルまたは中~高デューティサイクルを使用する注意モードと、高デューティサイクルを使用する相互作用モードとを含み、
    前記マルチモードインターフェイスの前記複数のバッテリー電力モードは、アラートモードと、アクティブモードとを含み、
    記アラートモードは、前記中~高デューティサイクルを使用する前記注意モードに対応し、前記マルチモードインターフェイスが、前記ユーザデバイスに対する、前記ユーザデバイスから所定距離内にあるユーザの手の位置の変化に基づいて調節可能である動的調節可能光度を有する前記低光度表示または前記モノクロ表示を提供することを可能にし、
    前記アクティブモードは、前記レーダーシステムの前記相互作用モードに対応し、前記マルチモードインターフェイスが前記高光度および彩度表示を提供することを可能にする、方法。
  20. 前記マルチモードインターフェイスの前記複数のバッテリー電力モードは、休止モードと、アンビエントモードとをさらに含み、
    前記休止モードは、前記レーダーシステムの前記アイドルモードに対応し、前記マルチモードインターフェイスが黒色表示を提供することを可能にし、
    前記アンビエントモードは、前記中~低デューティサイクルを使用する前記レーダーシステムの前記注意モードに対応し、前記マルチモードインターフェイスが前記低光度表示を提供することを可能にする、請求項19に記載の方法。
  21. 前記レーダーシステムの前記複数のレーダー電力状態は少なくとも、アイドルモードと、注意モードと、相互作用モードとを含み、
    前記アイドルモードは、約30ミリワット(mW)以下の電力しか必要とせず、
    前記注意モードは、約60mW以下の電力しか必要とせず、
    前記相互作用モードは、約90mW以下の電力しか必要としない、請求項1220のいずれか1項に記載の方法。
  22. 前記判断するステップは、前記ユーザの前記動きが、前記ユーザが前記レーダー場を出ることを含むと判断するステップを含み、
    前記方法は、前記ユーザが前記レーダー場を出ると判断するステップに応答して、前記第2のレーダー電力状態を、前記アイドルモードとなるように選択するステップを含み、前記レーダーシステムの前記アイドルモードは、前記レーダーシステムのための存在前動作に対応する、請求項20に記載の方法。
JP2021557064A 2019-06-17 2019-06-17 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム Active JP7163513B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022167523A JP7433397B2 (ja) 2019-06-17 2022-10-19 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/037529 WO2020256692A1 (en) 2019-06-17 2019-06-17 Mobile device-based radar system for applying different power modes to a multi-mode interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022167523A Division JP7433397B2 (ja) 2019-06-17 2022-10-19 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム

Publications (2)

Publication Number Publication Date
JP2022530603A JP2022530603A (ja) 2022-06-30
JP7163513B2 true JP7163513B2 (ja) 2022-10-31

Family

ID=67138133

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021557064A Active JP7163513B2 (ja) 2019-06-17 2019-06-17 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
JP2022167523A Active JP7433397B2 (ja) 2019-06-17 2022-10-19 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022167523A Active JP7433397B2 (ja) 2019-06-17 2022-10-19 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム

Country Status (6)

Country Link
US (2) US11175718B2 (ja)
EP (1) EP3928181A1 (ja)
JP (2) JP7163513B2 (ja)
KR (1) KR20210132132A (ja)
CN (1) CN113632046A (ja)
WO (1) WO2020256692A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11740702B2 (en) * 2017-11-14 2023-08-29 Biointeractive Technologies, Inc. Apparatus and methods for detecting, quantifying, and providing feedback on user gestures
BR112021019115A2 (pt) 2019-05-20 2021-11-30 Google Llc Sistema de radar baseado em dispositivo móvel para fornecer uma interface multimodo e método para o mesmo
WO2020256692A1 (en) 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
US11428780B2 (en) * 2019-10-04 2022-08-30 Qualcomm Incorporated Near field user detection using a radar signal analysis associated with a user equipment
US11343412B2 (en) * 2019-10-22 2022-05-24 Intel Corporation User detection and user attention detection using multi-zone depth sensing
CN113140194B (zh) * 2020-01-17 2023-08-29 北京小米移动软件有限公司 亮度调节方法、装置及存储介质
CN113625242B (zh) * 2021-07-23 2023-09-29 哈尔滨工程大学 一种基于势距图联合pca与改进云模型的雷达信号分选方法
US11656678B1 (en) 2022-01-31 2023-05-23 Microsoft Technology Licensing, Llc Scanning rate control for input components based on user presence detection
CN116243252B (zh) * 2023-03-14 2023-09-19 电子科技大学 一种基于lstm的多功能雷达工作模式预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033191A (ja) 2011-06-27 2013-02-14 Fuji Xerox Co Ltd 画像形成装置、画像形成装置用の人検知装置および画像形成装置用の制御装置
JP2013044881A (ja) 2011-08-23 2013-03-04 Panasonic Corp 電子看板装置
JP2016126234A (ja) 2015-01-07 2016-07-11 キヤノン株式会社 電子機器及び表示制御方法
JP2018050175A (ja) 2016-09-21 2018-03-29 京セラ株式会社 電子機器
US20180329049A1 (en) 2017-05-10 2018-11-15 Google Llc Low-Power Radar

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843351A (en) 1987-08-28 1989-06-27 Hewlett-Packard Company Vector modulation signal generator
US4912477A (en) 1988-11-18 1990-03-27 Grumman Aerospace Corporation Radar system for determining angular position utilizing a linear phased array antenna
US5121124A (en) 1991-05-01 1992-06-09 Thermo Electron Technologies Corp. Microwave camera
JPH06337401A (ja) 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 液晶ディスプレイ
JP2688010B2 (ja) 1994-02-24 1997-12-08 防衛庁技術研究本部長 無人水中航走体用航法装置
FI956060A (fi) 1995-12-15 1997-06-16 Nokia Telecommunications Oy Sektoroitu tukiasema
JP2919461B1 (ja) 1998-05-11 1999-07-12 三菱電機株式会社 通信装置
JP2001051049A (ja) 1999-08-10 2001-02-23 Oki Electric Ind Co Ltd レーダ装置
JP4232879B2 (ja) 1999-09-02 2009-03-04 パナソニック株式会社 通信装置
IL134518A0 (en) 2000-02-13 2001-04-30 Hexagon System Engineering Ltd Integrated radar and communication system
JP4324320B2 (ja) 2000-11-14 2009-09-02 アンリツ株式会社 レーダ・車々間通信共用システムおよび車載用アンテナ
JP3608003B2 (ja) 2001-03-09 2005-01-05 三菱電機株式会社 通信レーダ装置
US6636574B2 (en) 2001-05-31 2003-10-21 Motorola, Inc. Doppler spread/velocity estimation in mobile wireless communication devices and methods therefor
US7092690B2 (en) 2002-03-13 2006-08-15 Gregory Zancewicz Genetic algorithm-based adaptive antenna array processing method and system
US6816116B2 (en) 2002-03-22 2004-11-09 Quanta Computer, Inc. Smart antenna for portable devices
JP3575694B2 (ja) 2002-04-24 2004-10-13 株式会社ホンダエレシス 走査型fmcwレーダ
US6633254B1 (en) 2002-08-15 2003-10-14 Bae Systems Information And Electronics Systems Integration Inc. Self-modulating remote moving target detector
US20080065291A1 (en) 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
WO2004042544A1 (en) 2002-11-07 2004-05-21 Personics A/S Control system including an adaptive motion detector
DE10256620A1 (de) 2002-12-03 2004-07-08 Daimlerchrysler Ag Radarsystem mit integrierter Datenübertragung
GB0325622D0 (en) 2003-11-03 2003-12-10 Cambridge Consultants System for determining positional information
US7120439B2 (en) 2003-11-13 2006-10-10 Motorola, Inc. Method and apparatus for mobile radio velocity estimation
JP2005181193A (ja) 2003-12-22 2005-07-07 Tdk Corp パルス波レーダー装置
KR100592767B1 (ko) 2003-12-26 2006-06-26 한국전자통신연구원 개선된 전력증폭기 효율을 가진 듀얼 안테나 다이버시티송신기 및 시스템
JPWO2006013615A1 (ja) 2004-08-02 2008-05-01 三菱電機株式会社 レーダ装置
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
JP2007180597A (ja) 2004-09-01 2007-07-12 Nokia Corp 中継器及び中継方法
JP4626238B2 (ja) 2004-09-15 2011-02-02 日本電気株式会社 無線通信システム、無線通信装置、レーダ検出回路及びそれらに用いるレーダ検出方法
JP4735830B2 (ja) 2005-12-14 2011-07-27 日本電気株式会社 無線通信装置及びそれを用いたレーダ波検出方法
JP4553387B2 (ja) 2006-02-02 2010-09-29 株式会社東芝 ウェイト算出方法、ウェイト算出装置、アダプティブアレーアンテナ、及びレーダ装置
JP2007232498A (ja) 2006-02-28 2007-09-13 Hitachi Ltd 障害物検知システム
US8254865B2 (en) 2006-04-07 2012-08-28 Belair Networks System and method for frequency offsetting of information communicated in MIMO-based wireless networks
US8654885B2 (en) 2006-06-06 2014-02-18 Qualcomm Incorporated Fast in-phase and quadrature imbalance calibration
JP2008145423A (ja) 2006-11-15 2008-06-26 Matsushita Electric Ind Co Ltd レーダ装置
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8169358B1 (en) 2007-06-25 2012-05-01 Bbn Technologies Coherent multi-band radar and communications transceiver
JP4575409B2 (ja) 2007-08-22 2010-11-04 株式会社東芝 無線通信装置
US7782251B2 (en) 2007-10-06 2010-08-24 Trex Enterprises Corp. Mobile millimeter wave imaging radar system
US8254433B2 (en) 2008-01-08 2012-08-28 Raytheon Company Non-federated multi-function Ka-band exciter system and method
DE102008038365A1 (de) 2008-07-02 2010-01-07 Adc Automotive Distance Control Systems Gmbh Fahrzeug-Radarsystem und Verfahren zur Bestimmung einer Position zumindest eines Objekts relativ zu einem Fahrzeug
CN101354438B (zh) 2008-08-28 2011-12-28 阮树成 毫米波时分线性调频多目标检测汽车防撞雷达
US8588805B2 (en) 2008-12-13 2013-11-19 Broadcom Corporation Receiver utilizing multiple radiation patterns to determine angular position
JP2010191288A (ja) 2009-02-19 2010-09-02 Autonetworks Technologies Ltd 表示制御装置
US20120268306A1 (en) 2009-02-20 2012-10-25 Escort Inc. Wireless Connectivity in a Radar Detector
WO2010099268A1 (en) 2009-02-25 2010-09-02 Xanthia Global Limited Wireless physiology monitor
US8994536B2 (en) 2009-02-25 2015-03-31 Xanthia Global Limited Wireless physiology monitor
JP4389000B2 (ja) 2009-03-12 2009-12-24 富士通株式会社 レーダ装置およびアクティブターゲット装置
US9086476B1 (en) 2009-03-25 2015-07-21 Raytheon Company Method and apparatus for rejecting intermodulation products
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
CN102087362B (zh) 2009-12-08 2014-04-16 北京邮电大学 信号跟踪的方法和装置
US20110140949A1 (en) 2009-12-16 2011-06-16 Electronics And Telecommunications Research Institute Mimo radar apparatus and wireless communication method using the same
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8610771B2 (en) 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US9113190B2 (en) * 2010-06-04 2015-08-18 Microsoft Technology Licensing, Llc Controlling power levels of electronic devices through user interaction
EP2428814A1 (en) 2010-09-13 2012-03-14 France Telecom Object detection method, device and system
US8519885B2 (en) 2011-09-21 2013-08-27 Mobile Joose, Inc. Combination hand-held phone and radar system
JP5648844B2 (ja) 2010-12-21 2015-01-07 ソニー株式会社 画像表示制御装置および画像表示制御方法
US8775836B2 (en) * 2010-12-23 2014-07-08 Intel Corporation Method, apparatus and system to save processor state for efficient transition between processor power states
KR101199169B1 (ko) 2011-01-12 2012-11-07 주식회사 만도 타깃물체 감지 방법 및 레이더 장치
JP5950903B2 (ja) 2011-03-14 2016-07-13 古河電気工業株式会社 直交復調装置
JP5588912B2 (ja) 2011-04-07 2014-09-10 株式会社日立製作所 無線通信装置および無線通信方法
US20120270564A1 (en) 2011-04-19 2012-10-25 Qualcomm Incorporated Methods and apparatuses for use in a mobile device to detect signaling apertures within an environment
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
CN103534664B (zh) * 2011-05-12 2016-08-31 苹果公司 存在感测
BR112014005656A2 (pt) 2011-09-15 2017-03-28 Koninklijke Philips Nv sistema com uma interface de usuário sem contato; software de controle em um meio legível por computador; método para permitir que um usuário controle uma funcionalidade de um sistema através de uma interação sem contato com o sistema; e interface de usuário
JP2014059284A (ja) 2012-05-09 2014-04-03 Rcs:Kk 相互間距離測定機能を付加した安全運転支援装置
US8819812B1 (en) 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US9230160B1 (en) 2012-08-27 2016-01-05 Amazon Technologies, Inc. Method, medium, and system for online ordering using sign language
US8798695B1 (en) 2012-09-17 2014-08-05 Amazon Technologies, Inc. Proximity sensor using antennas of a user device
US9075429B1 (en) 2012-12-19 2015-07-07 Amazon Technologies, Inc. Distortion correction for device display
US10247809B2 (en) 2012-12-19 2019-04-02 Sony Corporation Method for operating a handheld screening device and a handheld screening device
US10794984B2 (en) 2013-05-22 2020-10-06 New York University System, method and computer-readable medium for estimating direction of arrival of a signal incident on at least one antenna array
US20140368423A1 (en) 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
JP2015052982A (ja) 2013-09-09 2015-03-19 パイオニア株式会社 表示制御装置
CN104635903A (zh) 2013-11-12 2015-05-20 中兴通讯股份有限公司 一种终端显示控制方法及终端
JP6255248B2 (ja) 2014-01-14 2017-12-27 パナソニック株式会社 マルチセクタレーダ
FR3017722A1 (fr) 2014-02-17 2015-08-21 Tounwendsida Ulysse Philippe Semde Dispositif permettant a toutes personnes valide, ou handicapee moteur, ou sourde-muette d'editer, modifier et publier un logiciel informatique, de facon autonome, sans connaissances prealables en informatique et sans contact physique avec le terminal
KR102454196B1 (ko) * 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
WO2015184406A1 (en) 2014-05-30 2015-12-03 Texas Tech University System Hybrid fmcw-intererometry radar for positioning and monitoring and methods of using the same
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101566622B1 (ko) 2014-06-23 2015-11-06 재단법인대구경북과학기술원 통신 기능을 포함하는 레이더 장치 및 레이더 장치의 신호 처리 방법
US9746901B2 (en) 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
KR102214194B1 (ko) 2014-08-19 2021-02-09 삼성전자 주식회사 Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법
US9813222B2 (en) 2014-08-28 2017-11-07 Toyota Jidosha Kabushiki Kaisha Single channel full-duplex joint radar and communication
US9618611B2 (en) 2014-09-24 2017-04-11 Nxp B.V. Personal radar assistance
US9983300B2 (en) 2014-10-17 2018-05-29 Qualcomm Incorporated Systems, methods, and apparatus for living object protection in wireless power transfer applications
KR101603851B1 (ko) 2014-11-10 2016-03-15 재단법인대구경북과학기술원 통신 기능을 가지는 레이더 장치 및 방법
US20160174842A1 (en) 2014-12-17 2016-06-23 Elwha Llc Epidermal electronics systems having radio frequency antennas systems and methods
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US9977122B2 (en) 2015-03-27 2018-05-22 The Boeing Company Multi-function shared aperture array
US9277418B1 (en) 2015-07-21 2016-03-01 RadComm, Inc. Methods, devices and systems for separating overlappingly transmitted signals and enabling joint spectrum access
EP3329296B1 (en) 2015-07-29 2021-09-15 QUALCOMM Incorporated Angular velocity sensing using arrays of antennas
EP3347996B1 (en) 2015-09-08 2022-10-19 Beammwave AB Analog processing system for massive-mimo
US20170086202A1 (en) 2015-09-21 2017-03-23 Qualcomm Incorporated Wi-fi indoor radar
US10324166B2 (en) 2015-09-28 2019-06-18 Rockwell Collins, Inc. Affordable combined pulsed/FMCW radar AESA
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
WO2017175190A1 (en) 2016-04-07 2017-10-12 Uhnder, Inc. Adaptive transmission and interference cancellation for mimo radar
JP6270901B2 (ja) 2016-04-21 2018-01-31 三菱電機株式会社 Fmcwレーダ装置
WO2017187304A2 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Digital frequency modulated continuous wave radar using handcrafted constant envelope modulation
EP3449272B1 (en) 2016-04-25 2022-11-02 Uhnder, Inc. Vehicle radar system with a shared radar and communication system, and method for managing such a system in a vehicle
US10141993B2 (en) 2016-06-16 2018-11-27 Intel Corporation Modular antenna array beam forming
US10598763B2 (en) 2016-07-27 2020-03-24 Raytheon Company System and method for concurrent communication of different signal types by a radar
KR101809371B1 (ko) 2016-07-29 2017-12-14 전자부품연구원 고속 첩 신호를 이용한 차량용 RadCom 시스템 및 방법
KR101814486B1 (ko) 2016-09-29 2018-01-05 재단법인대구경북과학기술원 레이더 및 무선 통신 기능을 가지는 차량용 레이더 장치 및 그것을 이용한 자원 조절 방법
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10394301B2 (en) * 2017-05-15 2019-08-27 Microsoft Technology Licensing, Llc Per-screen on session power consumption profiling
US10795009B2 (en) 2017-05-31 2020-10-06 Google Llc Digital beamforming for radar sensing using wireless communication chipset
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
US11126258B2 (en) * 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
BR112021019115A2 (pt) 2019-05-20 2021-11-30 Google Llc Sistema de radar baseado em dispositivo móvel para fornecer uma interface multimodo e método para o mesmo
WO2020256692A1 (en) 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface
CN113225431B (zh) 2020-01-17 2022-12-02 北京小米移动软件有限公司 显示屏的控制方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033191A (ja) 2011-06-27 2013-02-14 Fuji Xerox Co Ltd 画像形成装置、画像形成装置用の人検知装置および画像形成装置用の制御装置
JP2013044881A (ja) 2011-08-23 2013-03-04 Panasonic Corp 電子看板装置
JP2016126234A (ja) 2015-01-07 2016-07-11 キヤノン株式会社 電子機器及び表示制御方法
JP2018050175A (ja) 2016-09-21 2018-03-29 京セラ株式会社 電子機器
US20180329049A1 (en) 2017-05-10 2018-11-15 Google Llc Low-Power Radar

Also Published As

Publication number Publication date
US11175718B2 (en) 2021-11-16
JP7433397B2 (ja) 2024-02-19
CN113632046A (zh) 2021-11-09
JP2022530603A (ja) 2022-06-30
JP2023017783A (ja) 2023-02-07
KR20210132132A (ko) 2021-11-03
WO2020256692A1 (en) 2020-12-24
US20220091658A1 (en) 2022-03-24
BR112021019157A2 (pt) 2021-12-07
US11740680B2 (en) 2023-08-29
EP3928181A1 (en) 2021-12-29
US20200393890A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7163513B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
KR102661485B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
JP7407200B2 (ja) マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法
JP7270070B2 (ja) モバイルデバイスのための入力方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
KR102416386B1 (ko) 다중 입력 모드에 대한 입력 모드 통지
WO2021040747A1 (en) Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
BR112021019157B1 (pt) Dispositivo de usuário compreendo um sistema de radar e método implementado em um dispositivo de usuário para gerenciar modos de energia de bateria

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150