JP7316383B2 - Imuおよびレーダーを介した認証管理 - Google Patents

Imuおよびレーダーを介した認証管理 Download PDF

Info

Publication number
JP7316383B2
JP7316383B2 JP2021569190A JP2021569190A JP7316383B2 JP 7316383 B2 JP7316383 B2 JP 7316383B2 JP 2021569190 A JP2021569190 A JP 2021569190A JP 2021569190 A JP2021569190 A JP 2021569190A JP 7316383 B2 JP7316383 B2 JP 7316383B2
Authority
JP
Japan
Prior art keywords
user
radar
power
state
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021569190A
Other languages
English (en)
Other versions
JP2022541093A (ja
Inventor
チャンデル,アロク
ジュスティ,レオナルド
ツルカン,アルトゥール
シネック,セリム・フラビオ
プラグ,ヨハン
クグラー,タイラー・リード
モレイラ・コスタ,ルーカス・デュパン
サチダナンダム,ビグネッシュ
バーベッロ,ブランドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority claimed from PCT/US2019/049216 external-priority patent/WO2021021220A1/en
Publication of JP2022541093A publication Critical patent/JP2022541093A/ja
Priority to JP2023116089A priority Critical patent/JP2023156296A/ja
Application granted granted Critical
Publication of JP7316383B2 publication Critical patent/JP7316383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003Bistatic radar systems; Multistatic radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/10Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/26Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
    • G01S13/28Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses
    • G01S13/282Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses using a frequency modulated carrier wave
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
    • G01S7/038Feedthrough nulling circuits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/2813Means providing a modification of the radiation pattern for cancelling noise, clutter or interfering signals, e.g. side lobe suppression, side lobe blanking, null-steering arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • G01S7/2921Extracting wanted echo-signals based on data belonging to one radar period
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • G01S7/2923Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Description

背景
スマートフォン、ウェアラブルコンピュータ、およびタブレットなどのユーザ機器はしばしば、ユーザがデバイスへのアクセスを有する前に、そのユーザの認証を必要とする。しかしながら、現在の認証手法はしばしば、ユーザを迅速にまたは正確に認証することができない。多くの手法もまた、認証するために過度の電力を費やすことなくユーザを認証することができず、それは、バッテリー駆動デバイスの場合、特に問題である。
また、ユーザは、自分のデバイスとますます頻繁に相互作用しており、ユーザの中には、1日に何十回、さらには何百回も、自分のデバイスに対して自分自身を認証する人もいる。ユーザを認証するこの必要性と、ユーザが認証される回数の多さとのために、認証するための時間、電力、および容易さがますます重要である。
概要
この文書は、IMUおよびレーダーを介した認証管理のための手法およびシステムを説明する。手法およびシステムは、コンピューティングデバイスについての認証を管理するために、慣性計測ユニット(inertial measurement unit:IMU)からの慣性センサデータと、レーダーデータとを使用する。そうすることにより、手法は、コンピューティングデバイス認証のための多くの一般的な手法およびシステムと比べて、電力を節約し、精度を向上させ、または待ち時間を減少させる。
たとえば、レーダーデータに基づいて、およびユーザ機器によって、関与しようとするユーザの意図を判断する方法が説明される。判断に応答して、方法は、認証システムの電力消費コンポーネントの電力状態を第1の電力状態から第2の電力状態へ変更し、第2の電力状態は第1の電力状態よりも多くの電力を消費する。方法は次に、認証システムによって認証プロセスを行ない、認証システムは電力消費コンポーネントを第2の電力状態またはより高い第3の電力状態で使用する。
この文書はまた、上に概説された方法およびここに述べられる他の方法を行なうための命令を有するコンピュータ読取可能媒体、ならびに、これらの方法を行なうためのシステムおよび手段を説明する。
この概要は、詳細な説明および図面において以下にさらに説明される、IMUおよびレーダーを介した認証管理のための単純化された概念を紹介するために提供される。この概要は、主張される主題の本質的特徴を識別するよう意図されてはおらず、主張される主題の範囲を定める際に使用するよう意図されてもいない。
図面の簡単な説明
この文書では、IMUおよびレーダーを介した認証管理の1つ以上の局面の詳細が、以下の図面を参照して説明される。同様の特徴および構成要素に言及するために、同じ番号が図面全体を通して使用される。
IMUおよびレーダーを介した認証管理のための手法が実現され得る例示的な環境を示す図である。 図1で述べられた認証システムの一例を示す図である。 図2の認証システムによって認証される例示的なユーザを示す図である。 ユーザ機器に関与しようとするユーザの意図の判断に応答して認証システムの電力状態を含む状態を変更することができる図1のユーザ機器の実現化例を示す図である。 ユーザ機器の例示的な情報状態、電力状態、およびアクセス状態を示す図である。 コンピューティングデバイスの一部としての例示的なレーダーシステムを示す図である。 例示的なトランシーバおよびプロセッサを示す図である。 消費電力、ジェスチャーフレーム更新レート、および応答遅延の間の例示的な関係を示す図である。 例示的なフレーミング構造を示す図である。 図6-1のレーダーシステムのための受信アンテナ素子の例示的な配置を示す図である。 図6-1のレーダーシステムの例示的な実現化例の追加の詳細を示す図である。 図6-1のレーダーシステムによって実現され得る例示的なスキームを示す図である。 IMUおよび/またはレーダーを介する認証管理のための例示的な方法を示す図である。 IMUおよびレーダーを介する認証管理のための例示的なシナリオを示す図である。 ユーザ機器の状態を低下させるための例示的な方法を示す図である。 ユーザ機器の状態を低下させるための例示的なシナリオを示す図である。 認証された状態を維持するための例示的な方法を示す図である。 認証された状態を維持するための例示的なシナリオを示す図である。 認証された状態を維持するための別の例示的なシナリオを示す図である。
詳細な説明
概略
この文書は、慣性計測ユニット(IMU)およびレーダーを使用する認証管理のための手法およびシステムを説明する。手法およびシステムは、ユーザ機器についての認証を管理するために、IMUからの慣性センサデータと、レーダーデータとを使用する。そうすることにより、手法は、認証システムにおいて電力を節約し、またはスピードを増加させる。
たとえば、ユーザが自分のスマートフォンを机の上に置き、同僚と20分会話した後で自分の机およびスマートフォンに戻ってくると仮定する。戻ってきた時には、スマートフォンは認証解除されているであろう。それは、多くのコンピューティングデバイスでは、20分を十分下回るタイムアウト期間に起因して典型的である。したがって、ユーザが電話を手に取ると、ユーザは再認証する必要があるであろう。そうするために、ユーザはボタンを押し、その後、スマートフォンはディスプレイをオンにして、ディスプレイを通してパスワードを入力すること、または、顔認識を行なうようにデバイスの前面カメラを配向することなどの認証オプションを提示するであろう。ユーザが電話を手に取ってボタンを押し、ディスプレイへのユーザのタッチ入力またはスマートフォンの前面カメラの使用を通して認証された後で、スマートフォンの状態は認証されてロック解除され、アクセス権がないかまたは低い状態からアクセス権が高いかまたは類似した状態(たとえばロック解除状態)へ動く。ユーザはスマートフォンがどのように動作するかを認識していないかもしれないが、多くの場合、スマートフォンはディスプレイまたは前面カメラをパワーアップしなければならず、それは時間および電力の双方を要し、そうして初めてユーザを認証することができる。これは、認証プロセスを遅らせる。
対照的に、レーダーデータを使用して、ユーザが自分のスマートフォンに向かって手を伸ばしていると判断し、次に、IMUデータを使用して、ユーザが自分のスマートフォンを手に取っている(たとえば持ち上げている)と判断する、開示される手法を考慮されたい。これらのデータのいずれかを用いて、手法は、スマートフォンのディスプレイ、前面カメラ、または他の認証コンポーネントのパワーアップをより迅速にインスタンス化することができ、それにより、ユーザが認証されるために必要とされる時間の量を減少させる。
これは、IMUおよびレーダーを介して認証を管理するために、説明される手法およびデバイスがどのように使用され得るかについての一例に過ぎない。他の例および実現化例が、この文書全体を通して説明される。文書はここで、例示的な動作環境に変わり、その後、例示的なデバイス、方法、およびシステムが説明される。
動作環境
図1は、IMUおよびレーダーを介した認証管理のための手法が実現され得る例示的な環境100を示す。例示的な環境100はユーザ機器(user equipment:UE)102(たとえばスマートフォン)を含み、それは、レーダーシステム104と、レーダーマネージャ106と、慣性計測ユニット(IMU)108と、動きマネージャ110と、状態マネージャ112と、認証システム114と、ディスプレイ116とを含むかまたはそれらに関連付けられている。
例示的な環境100では、レーダーシステム104は、図7~9を参照して以下に説明されるように1つ以上のレーダー信号または波形を送信することによってレーダー場118を提供する。レーダー場118は空間体積であり、そこからレーダーシステム104は、レーダー信号および波形の反射(たとえば、空間体積内の物体から反射されたレーダー信号および波形、ここに概してレーダーデータとも呼ばれる)を検出することができる。レーダーシステム104はまた、UE102または他の電子デバイスが、レーダー場118内の反射からこのレーダーデータを感知して分析することを可能にする。レーダー場118は、さまざまな形状および形のうちのいずれをとってもよい。たとえば、レーダー場118は、図1および図7を参照して説明されるような形状を有していてもよい。他の場合、レーダー場118は、レーダーシステム104から延びる半径、レーダーシステム104のまわりの体積(たとえば、球、半球、球の一部、ビーム、または円錐)、もしくは(たとえば、レーダー場118内の障害物からの干渉に対応するための)非均一形状といった形状をとってもよい。レーダー場118は、数インチ~12フィート(1/3メートル未満~4メートル)といった、レーダーシステム104からのさまざまな距離のうちのいずれかだけ延びていてもよい。レーダー場118は定義済であってもよく、ユーザによって選択可能であってもよく、または、別の方法を介して(たとえば、電力要件、残りのバッテリ寿命、または別の要因に基づいて)定められてもよい。
レーダー場118内のユーザ120からの反射は、レーダーシステム104が、ユーザ120の体の位置または姿勢といった、ユーザ120についてのさまざまな情報を判断することを可能にする。当該情報は、さまざまな異なる非言語的ボディーランゲージキュー、体の位置、または体の姿勢を示していてもよい。これらのキュー、位置、および姿勢は、UE102を基準にしたユーザ120の絶対位置または距離、UE102を基準にしたユーザ120の位置または距離の変化(たとえば、ユーザ120、またはユーザの手、またはユーザ120によって保持された物体が、UE102により近づくように、またはUE102からより遠ざかるように動いているか)、UE102に向かって、またはUE102から遠ざかって動く場合のユーザ120(たとえば、手、または非ユーザ物体)の速度、ユーザ120がUE102の方を向いているかまたは背を向けているか、ユーザ120がUE102の方に身を乗り出しているか、手を振っているか、手を伸ばしているか、またはUE102を指さしているかなどを含んでいてもよい。これらの反射はまた、レーダーデータの分析を介した人間のアイデンティティ(たとえば、ユーザの顔の散乱中心)などの認証を判断するために、または当該認証に確信を追加するために分析され得る。
レーダーマネージャ106は、レーダーシステム104からのレーダーデータに基づいて、UE102に関与しようとする、UE102への関与を解除しようとする、または当該関与を維持しようとするユーザの意図を判断するように構成される。ユーザの意図は、手または腕をUE102に向かって伸ばすこと、UE102を見る目の動き、またはUE102に向かって配向される頭または顔の動きに基づくような上述のさまざまなキュー、位置、姿勢、および距離/速度から推定され得る。手または腕を伸ばすことについては、レーダーマネージャ106は、ユーザがUE102を触るかまたは手に取ろうとする生じ得る意図を示すようなやり方で自分の手を伸ばしているかまたは自分の腕を配向していると判断する。例は、ユーザが無線で取り付けられたスピーカのボリュームボタンに向かって手を伸ばすこと、タブレットコンピュータに関連付けられた無線または有線マウスに向かって手を伸ばすこと、またはUE102自体に向かって手を伸ばすことを含む。この手を伸ばすことは、手の動きのみに基づいて、腕および手の動きに基づいて、または、腕の手がUE102を触るかまたは把持することを許可する態様で腕を曲げ伸ばしすることに基づいて、判断され得る。以下の図14~16で述べられるように、関与しようとする意図のこの判断は、認証されていようとなかろうと、非ユーザについてのものであってもユーザについてのものであってもよい。
関与しようとするユーザの意図はまた、ユーザが、UE102または場合によってはUE102の関連周辺装置を見るために、もしくは、それに向かって自分の顔を配向するために、自分の頭または目を動かす動きに基づいて推定され得る。UE102の方を見るユーザの目の動きについては、レーダーマネージャ106は、ユーザの目の追跡などを通して、ユーザの目がUE102の方向に見ていると判断する。UE102に向かって自分の顔を配向するユーザの頭の動き(たとえば顔配向)については、レーダーマネージャ106は、さまざまな点(たとえば、以下に述べられるような散乱中心)が現在、ユーザの顔がUE102の方を向いているように配向されていると判断する。このため、ユーザは、ユーザがUE102に関与しようと意図している(または、UE102への関与を解除または維持しようと意図している)とレーダーマネージャ106が判断するために、UE102上のボタンを起動する(押す)こと、または(たとえばタッチパッドまたは画面上での)タッチ依存ジェスチャー、または(たとえばレーダーシステム104を使用する)タッチ非依存ジェスチャーといった、UE102を制御または起動するように設計されたアクションを行なう必要がない。
上述のように、レーダーマネージャ106はまた、UE102への関与を解除しようとするユーザの意図を判断するように構成される。レーダーマネージャ106は、関与を解除しようとするユーザの意図を、関与しようとするユーザの意図と同様に判断するが、関与を解除しようとするユーザの意図は、ユーザの手または腕がUE102から遠ざかって動いていること(たとえば、引っ込めていること)、UE102から目をそらす目の動き、もしくは、UE102から遠ざかる頭または顔の動き(たとえば、UE102を見ることを避ける顔配向の変化)から推定される。関与を解除しようとするユーザの意図を判断するための追加の態様は、上述の関与の逆または中止だけでなく、レーダーデータが、ユーザが歩き去ったこと、自分の体を遠ざけるように動かしたこと、もしくは、別の無関係の物体またはデバイスに関与したことを示すことも含む。このため、レーダーマネージャ106は、何か他の物体、デバイス、またはユーザ機器に関与しようとするユーザの意図を判断することに基づいて、UE102への関与を解除しようとする意図を判断してもよい。たとえば、ユーザがスマートフォンを見ており、スマートフォンと相互作用していると仮定する。そのスマートフォンへの関与を解除しようとする意図を示す、関与しようとする意図の例は、ユーザが、スマートフォンを見る代わりにテレビ画面を見ていること、物理的に近くにいる人に話しかけ始めること、もしくは、電子ブックまたはメディアプレイヤーといった、それへの関与がスマートフォンへの関与を置き換えると思われる別のデバイスに手を伸ばすことを含む。
レーダーマネージャ106はまた、UE102への関与を維持しようとするユーザの意図を判断するように構成される。関与のこの維持は、能動的または受動的であり得る。能動的関与については、レーダーマネージャ106は、レーダーデータに基づいて、ユーザはタッチ非依存ジェスチャーなどを通して相互作用していると判断してもよい。レーダーマネージャ106は同様に、または代わりに、(たとえば、UE102の他のコンポーネントからの支援で行なわれた)非レーダーデータを通して能動的関与を判断してもよい。これらの非レーダーデータは、ユーザがデータをUE102または周辺装置に入力しているか、もしくは、UE102または周辺装置を制御しているというしるしを含む。このため、タッチ、タイピング、または音声データを通して、ユーザは、ディスプレイ116のタッチスクリーン入力を通して触っている(たとえば、ソフトキーボード上でタップしているか、またはジェスチャーを行なっている)と判断され、周辺キーボード上でタイピングしていると判断され、または、音声入力を口述していると判断される。受動的関与の維持については、レーダーマネージャ106は、ユーザが、たとえば自分の顔をUE102の方に向けたり、ディスプレイ116を見たり、もしくは、UE102のディスプレイをユーザまたは第三者によって見えるように配向するようなやり方でUE102を保持して、コンテンツを消費している、またはコンテンツを消費するためにUE102を他人に提供していると、単独でまたはUE102の他のコンポーネントの支援を通して判断する。受動的関与を維持する他の例は、レーダーマネージャ106が、ユーザ120はUE102の近く(たとえば、UE102から2メートル、1.5メートル、1メートル、または0.5メートルの範囲)にいると判断することなどを介した、ユーザの存在を含む。関与しようとする、関与を解除しようとする、または関与を維持しようとするユーザの意図をレーダーマネージャ106が受動的におよび能動的に判断する例示的なやり方の詳細を、以下に説明する。
さらに、レーダーマネージャ106はまた、レーダーシステム104からのレーダーデータを使用して、ユーザによって行なわれたジェスチャーを判断してもよい。これらのジェスチャーは、ユーザが、テーブル、ディスプレイ116、または自分のシャツの袖といった何らかの表面を触ること、もしくは、タッチ非依存ジェスチャーを伴い得る。タッチ非依存ジェスチャーは、空中で、3次元で、および/または、手または指が入力装置を触ることを必要とすることなく行なわれ得るが、何らかの物体を触ることを阻止されない。これらのジェスチャーは、レーダーデータに基づいて判断され、次に、UE102への入力、またはUE102への関与を示すための入力として使用され得る。例示的なジェスチャーは、手話(たとえば、ASL(American Sign Language)すなわち米式手話)に似たものを含み、それらは、さまざまで複雑な片手または両手ジェスチャー、もしくは、単純な両手または片手ジェスチャーであり、たとえば、左、右、上、または下にスワイプすること、平手を上げ下げすること(たとえば、UE102の音量、もしくは、UE102を通して制御されるテレビまたはステレオの音量を上げ下げすること)、もしくは、前方または後方に(たとえば、左から右に、または右から左に)スワイプして、音楽およびビデオトラックを変更したり、アラームをスヌーズしたり、電話を切ったり、さらにはゲームをしたりすることなどである。これらは、これらのジェスチャーによって制御可能であり、レーダーシステム104およびレーダーマネージャ106を介して有効にされる、多くの例示的なジェスチャーおよび機能のうちのほんの一部である。このため、この文書は関与および状態管理に向けられているものの、この文書における何も、ジェスチャー認識のためにレーダーシステム104およびレーダーマネージャ106を構成することができないことを示すように誤解されるべきでない。
IMU108は、動きを測定するように構成されたさまざまなデバイスのうちのいずれであってもよく、動きはここに、3つの軸(たとえばX、Y、およびZ)の各々についてのピッチ、ロール、およびヨウを含む、特定の力、角速度、配向、振動、加速度、速度、および位置を含むと定義される。IMU108は、加速度計、ジャイロスコープ、および/または磁力計といった、UE102内の1つまたは複数のデバイスであり得る。
動きマネージャ110は、IMU108からの慣性データに基づいてUE102の動きを判断するように構成される。例示的な動きは、UE102が持ち上げられていること(たとえば、手に取られていること)、ユーザ120の方に、またはユーザ120から遠い方に配向されていること、および振動を含む。例示的な動きは、UE102のユーザ120による物理的接触の中止、非生物物体(たとえばテーブル、自動車コンソール、長椅子のアーム、枕、床、ドッキングステーション)上へのUE102の配置、および、たとえばポケット、バッグ、またはハンドバッグといった囲まれた入れ物内へのUE102の配置を示し得る。
これらの動きは、ユーザの潜在的なUE102への関与、関与の解除、または関与の維持を示し得る。たとえば、UE102の動きは、ユーザ機器がユーザ120の方に動いているか配向していること、またはユーザ120から遠い方に動かされ/配向されていること、ユーザ機器があまりにも迅速に動いているかまたはあまりにも迅速に動きを変更しているため、多くの生じ得るタイプのユーザ関与のために相互作用されていないこと、ユーザ機器がユーザ120によって(自然な人間の動き、呼吸、心拍を介して)保持されていること、もしくは、機械的ソースまたは非ユーザソース(たとえば、車両の振動、UE102を揺らす周囲音、UE102を振動させる音楽)に起因して振動していることを示してもよい。このため、遠い方に配向することは、UE102への関与の潜在的解除を示すが、ユーザ120がディスプレイ116を見ていたと思われる以前の配向が今ではそうではないような、UE102の配向変化を含んでいてもよい。ユーザ120が1つの配向でタイピングするか読み、次に電話をひっくり返すか横向きにすること、またはポケットに入れることなどは、遠い方に配向すること、ひいては、潜在的関与解除を示す動きの一例に過ぎない。関与の維持を示し得る例示的な動きは、ユーザがUE102の保持または配置を維持していること、もしくは、UE102への関与を以前に示していた、または当該関与と一致していた、UE102に対する自分の配向を維持していることを示す振動を含む。
ディスプレイ116は、タッチスクリーン、液晶ディスプレイ(liquid crystal display:LCD)、薄膜トランジスタ(thin film transistor:TFT)LCD、イン・プレース・スイッチング(in-place switching:IPS)LCD、容量性タッチスクリーンディスプレイ、有機発光ダイオード(organic light emitting diode:OLED)ディスプレイ、アクティブマトリックス有機発光ダイオード(active-matrix organic light-emitting diode:AMOLED)ディスプレイ、スーパーAMOLEDディスプレイなどといった任意の好適なディスプレイデバイスを含み得る。述べられるように、ディスプレイ116は、タッチ入力に電力が供給された状態でのフル彩度、タッチ入力に電力が供給されない状態での低下した彩度、ならびに、低彩度および低電力(たとえば、灰色のクロック)または無電力といったさまざまなレベルで電力供給され得る。
状態マネージャ112はUE102についての認証を管理するが、電力状態および情報状態といったUE102の状態も管理してもよい。UE102およびそのコンポーネントのこの管理は、レーダーマネージャ106および動きマネージャ110によって下される判断に基づいて行なわれる。たとえば、状態マネージャ112は、UE102のディスプレイ116を、パスワードを入力するためのユーザ120からのタッチ入力の受信を見込んでパワーアップするよう変更すること、コンピュータプロセッサを、認証で使用される計算を行なうように変更すること、または、撮像システムを、画像ベースの顔認証を行なうように変更すること、レーダー(たとえばレーダーシステム104)、またはユーザ120を認証するために使用される他のコンポーネントを変更することなどによって、認証システム114のコンポーネントへの電力供給を管理することができる。
述べられるように、UE102のこの管理は、レーダーマネージャ106および動きマネージャ110による判断に基づいており、それらは、UE102に関与しようとする意図、UE102への関与を解除しようとする意図、または当該関与およびUE102の動きを維持しようとする意図をそれぞれ判断する。状態マネージャ112は、これらの判断のみに基づいて、または、現在の状態、現在の関与、実行中のアプリケーション、およびこれらのアプリケーションによって示されるコンテンツなどといった他の情報にも基づいて、そうすることができる。また、レーダーマネージャ106はユーザの意図を判断してもよく、動きマネージャ110は動きを判断することができ、その一部はUE102に関与しようとするユーザの意図を示すと判断されるが、状態マネージャ112は、それらの判断を双方とも使用することにより、ユーザの意図は、UE102に関与すること、ひいてはUE102に対して自分を認証することであるという総合判断の精度、頑強性、および/またはスピードを向上させることができる。
このレーダーマネージャ106および動きマネージャ110の判断を双方とも使用することは、認証システム114の管理の一環としてともにまたは段階的に行なわれてもよく、または、これらのうちの1つのみが使用されてもよい。たとえば、UE102が、認証するために使用されるコンポーネントのために低電力状態にあると仮定する。レーダーマネージャ106は、UE102に向かう動き、またはUE102に向かって手を伸ばすことに基づいて、ユーザ120がUE102で認証しようと意図していると判断してもよい。場合によっては、これは単独では、状態マネージャ112がUE102を高電力状態へ変更させるには不十分であると、状態マネージャ112によって考えられる。このため、状態マネージャ112は、認証コンポーネントのうちのいくつかを、高電力状態(たとえば、図5の高電力状態504-1)ではなく、中間状態へとパワーアップさせることができる。たとえば、認証システム114が顔認識を行なうために赤外線センサを使用する場合、状態マネージャ112は、ユーザを認証することと、ディスプレイ116については、UE102が「起きて」おり、したがってますますすぐ応答することをユーザに示すこととを見込んで、これらのセンサおよびディスプレイ116により高い電力まで電力供給することができる。追加のステップとして、状態マネージャ112は、ユーザは認証コンポーネント、ここでは赤外線センサに十分に電力供給する前にUE102を動かした、手に取った、持ち上げたなどと動きマネージャ110が判断するまで、待つことができる。必須でないものの、状態マネージャ112は、認証がユーザからのさらなる入力なしでコンポーネントによって試みられるようにしてもよく、それにより、認証をユーザ120にとってシームレスにする。
しかしながら、場合によっては、状態マネージャ112は、慣性データおよびレーダーデータの双方、たとえば、レーダーマネージャ106がユーザは認証しようと意図していると判断することと、動きマネージャ110がユーザはUE102を手に取っていると判断することとに応答して、UE102およびさまざまな認証コンポーネントをパワーアップするかまたは他の態様でUE102およびさまざまな認証コンポーネントの状態を準備する。
言い換えれば、ユーザがちょうどUE102を触り始めたという動きマネージャ110によるしるしのように、ユーザの意図はUE102を手に取ることによって認証することであるというより高レベルの確信が得られるまで、状態マネージャ112は待つことができる。そのような場合、状態マネージャ112は、レーダーマネージャ106の判断のみに基づいて電力を増加させてもよいが、ディスプレイまたは認証システム114またはそのコンポーネントに十分に電力供給するためのユーザによる接触を動きマネージャ110が示すまで待つ代わりに、これらのコンポーネントの中間電力レベルまでのみ電力を増加させてもよい。しかしながら、述べられるように、状態マネージャ112は、関与しようとする意図の判断のみに基づいて、状態をより高い電力レベルへ変更してもよい。
状態マネージャ112がUE102の認証を管理することができる多くの例示的なやり方のうちの1つを、図1の例示的な環境100-1、100-2、および100-3で示す。環境100-1では、ユーザ120は、UE102をテーブルの上においた状態で本を読んでいる。ユーザ120は自分の本をテーブルの縁に置き、または話し、または、何か他の振動源がUE102を振動させると仮定する。この振動に基づいて、動きマネージャ110は、UE102が動かされていると判断するかもしないかもしれず、または、周囲振動であるとして無視するかもしれない。しかしながら、振動は、いくつかのタイプのIMUおよびそれらが伴うアプリケーションに、動きはおそらくユーザの関与が生じたことを示すと判断させるのに、振幅または特性が実質的に十分であると仮定する。これらのタイプのIMUおよび従来の状態管理システムとは対照的に、状態マネージャ112は同様に、または代わりに、ユーザ120が関与を維持していること、または、関与の欠如を示す態様で現在行動していることを示す情報をレーダーマネージャ106から受信する。レーダーマネージャ106は、UE102ではなく本に向かっているユーザ120の身体配向、アイコンタクト、または顔配向に基づいて、そうしてもよい。このため、状態マネージャ112は、電力を大きくすること、ディスプレイを点灯すること、認証システム114をパワーアップすること、および、他の態様でリソースを浪費すること、または、本へのユーザ120の関与を妨害することによってユーザ120を困らせることを控えてもよい。このシナリオから一時的に離れると、生じる例示的な利点は、ユーザが顔を前に向け、両手をハンドルに載せて運転しており、UE102が助手席の上に載っているスマートフォンを含む、動いている自動車の状況において理解され得る。多くの場合、道路の隆起は、レーダーベースの入力がない場合、IMUおよびそれが伴うアプリケーションに、実際にはユーザは関与しようと意図していないのに、ユーザがおそらく関与していると判断させるかもしれない。これは、認証パワーアップリソースが浪費される誤判定状態を引き起こす。しかしながら、レーダーベースの入力が考慮される場合、レーダーベースの入力は、スマートフォンに向かって伸びるユーザの腕がないことを示すことができ、そのため、誤判定状態を回避することができる。
このシナリオを続けると、レーダーマネージャ106がユーザはUE102に関与しようと意図していると判断する例示的な環境100-2を考慮されたい。この関与しようとする意図は、ユーザ120がUE102の方を見ていること、自分の体をUE102に配向していること、または、UE102に向かって手を伸ばしていること(これら3つはすべて図示されているが、これら3つの条件のうちのどの1つも、関与しようとする意図を示すのに十分であり得る)を示す、レーダーシステム104からのレーダーデータに基づいて判断され得る。以下により詳細に説明されるように、状態マネージャ112は、レーダーマネージャ106によって判断された関与しようとする意図に基づいて、認証システム114などのUE102の状態を変更するよう判断してもよい。ただし、他のまたは追加のコンポーネントも変更されてもよい。
このシナリオを締めくくると、環境100-3を考慮されたい。状態マネージャ112は、UE102の認証システム114を、より高い電力状態へ迅速にかつシームレスに変更する。述べられるように、状態マネージャ112は、ユーザ120はUE102に関与しようと意図しているという判断をレーダーマネージャ106が示すことに基づいて、そうする。環境100-3については、ユーザ120は、ユーザがちょうどUE102を触っているときに認証されると仮定する。この認証およびロック解除は、(環境100-2において122で示される)低彩度および低光度の星記号から(環境100-3において124で示される)高彩度および高光度の星記号へディスプレイ116を変更することを通して、ユーザ120に示される。
より詳細には、図2に示す、認証システム114の一例を考慮されたい。これは一例に過ぎない。なぜなら、ほんの数例を挙げると、タッチ感知型ディスプレイを介したパスワード入力、レーダーシステム104を使用するレーダー認証、または指紋リーダといった、状態マネージャ112によって制御可能である他の認証システムが考えられるためである。
認証システム114のこの例は、(スマートフォンとして示される)UE102の内部200を示して例示される。図示された構成では、UE102は、レーダーシステム104のレーダー集積回路202と、スピーカ204と、前面カメラ206と、近接センサ208と、周囲光センサ210とを含む。UE102はまた、顔認識ロック解除センサ212を含み、それは、近赤外線(near-infrared:NIR)投光イルミネータ214と近赤外線(NIR)ドットプロジェクタ216とを含み、それらは双方とも、赤外光または近赤外光をユーザに投射する。顔認識ロック解除センサ212はまた、UE102の両側に位置付けられた2つのNIRカメラ218-1および218-2を含む。NIRカメラ218-1および218-2は、ユーザによって反射された赤外光および近赤外光を感知する。この反射された近赤外光は、顔特徴を判断し、これらの特徴を用いて、以前に格納された顔特徴情報との比較に基づいて、ユーザが本物かどうかを判断するために使用され得る。NIR投光イルミネータ214はたとえば、環境にNIR光を「投光」し、それは、ユーザ(および他の物体)からの反射を受け次第、画像を提供する。この画像は、周囲光が低いかまたはない状態でも、ユーザの顔を含み、このため、顔特徴を判断するために使用され得る。NIRドットプロジェクタ216は、ユーザの顔の特徴を含む物体の深度を判断するために分析され得るNIR光反射を提供する。このため、ユーザについての深度マップ(たとえばスペクトル深度マップ)を(たとえば、顔認証をセットアップする際に前もって)作成してもよく、現在の深度マップを定めて、前もって作成された格納された深度マップと比較してもよい。この深度マップは、(人の実際の顔ではなく)ユーザの顔の写真または他の2次元レンダリングの認証を防止するのに役立つ。
ユーザの顔特徴のこのマッピングは、UE102上にセキュアに格納可能であり、ユーザの嗜好に基づいて、UE102上でセキュアであるとともに、外部エンティティによって利用可能にならないよう防止され得る。
認証システム114は顔認証ロック解除センサ212を含むが、前面カメラ206、近接センサ208、および周囲光センサ210、ならびに、データを分析するためのプロセッサ、センサデータを格納し、キャッシュし、またはバッファに入れるための(複数の電力状態も有し得る)メモリなどといった、他のコンポーネントも含み得る。
顔認証ロック解除センサ212は、IR(infrared:赤外線)およびNIR(近赤外線)データを感知して顔認識を行ない、それは、以下に説明される方法で述べられるように、手法がユーザを認証し、したがってアクセス状態を変更する(たとえば、UE102のロックを解除する)1つのやり方である。電力を節約するために、顔認証ロック解除センサ212は、使用されない場合には低電力状態で動作する(それはまた、単にオフにされ得る)。特に、NIR投光イルミネータ214およびNIRドットプロジェクタ216は、オフ状態では放射しない。しかしながら、低または無電力状態から中間電力状態および/または高電力状態への遷移に関連付けられたウォームアップシーケンスが、NIR投光イルミネータ214およびNIRドットプロジェクタ216のために使用され得る。これらのコンポーネントのうちの一方または双方をパワーアップすることにより、ユーザを認証する際の待ち時間を、時には0.5秒以上減少させることができる。多くのユーザが自分のデバイスを毎日何十回も、さらには何百回も認証すると考えると、これはユーザの時間を節約し、ユーザ体験を向上させることができる。ここに述べられるように、この時間遅延は、レーダーマネージャ106が、レーダーシステム104によって提供されたレーダーデータに基づいて、ユーザが自分のデバイスに関与しようと意図していると判断することによって減少される。これは、状態マネージャ112によって管理される。実際には、手法は、関与しようとするユーザの意図を先回りして検出し、ウォームアップシーケンスを始動する。手法は、ユーザがUE102を触る前でもそうしてもよいが、これは必須ではない。このため、手法は、NIR投光イルミネータ214およびNIRドットプロジェクタ216が、ユーザを認証する際に使用されるために十分に電力供給されることを可能にし、それは、顔認識が完了するのを待つユーザによって費やされる時間を減少させる。
UE102の他のコンポーネントに進む前に、顔認識ロック解除センサ212の局面を考慮されたい。認証システム114のこの例示的なコンポーネントは、ディスプレイ116の平面に対してわずか10度で顔認識を使用してユーザを認証することができる。このため、ユーザは、電話を手に取ってセンサを自分の顔に70~110度または80~100度といった角度で向ける必要がなく、代わりに、認証システム114は、顔認識ロック解除センサ212を使用して、ユーザがUE102を手に取る前でもユーザを認証するように構成される。これは、顔認識に使用される自分の顔の部分(たとえば、自分のあご、鼻、またはほお骨)がディスプレイ116の平面304に対してわずか10度であり得る角度302に位置する状態のユーザ120を示す、図3に示される。ユーザ120は、自分の顔が、顔距離306で示される、顔認識ロック解除センサ212から1メートル以上遠ざかった位置にある間に認証されることも示されている。そうすることにより、手法は、UE102が上下逆にまたは変な角度で配向されていても、ほぼシームレスで速やかな認証を許可する。
より詳細には、IMUおよびレーダーを介した認証管理のための手法を実現できる(レーダーマネージャ106と動きマネージャ110と状態マネージャ112とを含む)UE102の例示的な実現化例400を示す図4を考慮されたい。図4のUE102は、UE102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、コンピューティング眼鏡102-6、ゲーミングシステム102-7、ホームオートメーションおよび制御システム102-8、ならびに電子レンジ102-9を含むさまざまな例示的デバイスとともに図示される。UE102はまた、テレビ、娯楽システム、オーディオシステム、自動車、ドローン、トラックパッド、ドローイングパッド、ネットブック、電子リーダ、ホームセキュリティシステム、および他の家庭用機器といった他のデバイスを含み得る。なお、UE102はウェアラブルであってもよく、非ウェアラブルであるもののモバイルであってもよく、または、比較的非モバイル(たとえば、デスクトップおよび機器)であってもよい。
UE102の例示的な全体的横寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。電力制限および処理制限と組合された、UE102の多くの他の望ましい特徴をそのような空間が制限されたパッケージ内に収容するために必要とされるレーダーシステム104のためのそのような制限された設置面積の要件は、レーダジェスチャー検出の精度および効力における妥協をもたらし得るが、妥協のうちの少なくともいくつかは、ここでの教示に鑑みて克服され得る。
UE102はまた、1つ以上のコンピュータプロセッサ402と1つ以上のコンピュータ読取可能媒体404とを含み、コンピュータ読取可能媒体404は、メモリ媒体と記憶媒体とを含む。コンピュータ読取可能媒体404上のコンピュータ読取可能命令として実現されるアプリケーションおよび/またはオペレーティングシステム(図示せず)は、レーダーマネージャ106、動きマネージャ110、および状態マネージャ112(コンピュータ読取可能媒体404内に示されるが、これは必須ではない)の機能のうちのいくつかまたはすべてといった、ここに説明される機能性のうちのいくつかまたはすべてを提供するためにコンピュータプロセッサ402によって実行され得る。
UE102はまた、ネットワークインターフェイス406を含んでいてもよい。UE102は、有線ネットワーク、無線ネットワーク、または光ネットワークを通してデータを通信するためにネットワークインターフェイス406を使用することができる。限定ではなく例示として、ネットワークインターフェイス406は、ローカルエリアネットワーク(local-area-network:LAN)、無線ローカルエリアネットワーク(wireless local-area-network:WLAN)、パーソナルエリアネットワーク(personal-area-network:PAN)、ワイドエリアネットワーク(wide-area-network :WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを通してデータを通信してもよい。
局面では、レーダーシステム104は、少なくとも部分的にハードウェアで実現される。レーダーシステム104のさまざまな実現化例は、システム・オン・チップ(System-on-Chip:SoC)、1つ以上の集積回路(Integrated Circuit:IC)、埋込まれたプロセッサ命令を有するかまたはメモリに格納されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント回路基板、またはそれらの任意の組合せを含み得る。レーダーシステム104は、それ自体のレーダー信号を送受信することによってモノスタティックレーダーとして動作する。いくつかの実現化例では、レーダーシステム104はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内にある他のレーダーシステム104と協働してもよい。しかしながら、UE102の制約または制限は、レーダーシステム104の設計に影響を与える場合がある。UE102は、たとえば、レーダーを動作させるために利用可能な電力の制限、計算能力の制限、サイズ制約、レイアウト制約、レーダー信号を減衰させるかまたは歪める外部ハウジングなどを有する場合がある。レーダーシステム104は、以下にさらに説明されるように、これらの制約が存在する状態で高度のレーダー機能性および高性能が実現されることを可能にするいくつかの特徴を含む。
状態マネージャ112が作用し得る追加の例示的なやり方について述べる前に、UE102が動作し得る多くの情報状態、電力状態、およびアクセス状態を示す図5を考慮されたい。
図5は、UE102が動作し得るアクセス状態、情報状態、および電力状態を示し、それらは各々、説明される手法によって管理され得る。デバイス状態500のこれらの例示的なレベルおよびタイプは視覚的簡潔さのために3つの粒度レベルで示されているが、アクセス状態502、電力状態504、および情報状態506について、各々の多くのレベルが考えられる。アクセス状態502は、高アクセス状態502-1、中間アクセス状態502-2、および低アクセス状態502-3という、例示的な3つの粒度レベルで示される。同様に、電力状態504は、高電力状態504-1、中間電力状態504-2、および低電力状態504-3という、例示的な3つの粒度レベルで示される。同様に、情報状態506は、高情報状態506-1、中間情報状態506-2、および低情報状態506-3という、例示的な3つの粒度レベルで示される。
より詳細には、アクセス状態502は、デバイスのユーザによって利用可能である、UE102のデータ、アプリケーション、機能、アカウント、またはコンポーネントへのアクセス権に携わっている。このアクセスは高くなる場合があり、UE102のための「ロック解除」状態と呼ばれることもある。この高アクセスレベルは、単にデバイスのアプリケーションおよび機能を含んでいてもよく、または、UE102を通してアクセス可能である銀行口座、ソーシャルメディアアカウントなどといったさまざまなアカウントへのアクセスも含んでいてもよい。UE102などの多くのコンピューティングデバイスは、高アクセス状態502-1などの高アクセスを提供するために認証を必要とする。
さまざまな中間アクセスレベル(たとえば502-2)がUE102によって許可され得るが、そのような状態は、ユーザがUE102のアカウント、サービス、またはコンポーネントのうちのすべてではなく一部にアクセスすることを許可する。例は、ユーザが写真を撮ることは許可するものの、以前に取り込まれた写真にアクセスすることは許可しないことを含む。他の例は、ユーザが電話に出ることは許可するものの、電話をかけるときに連絡先リストにアクセスすることは許可しないことを含む。これらは、中間アクセス状態502-2で示される、UE102が許可できる多くの中間権利のうちのいくつかに過ぎない。図5に破線ボックスで示されるように、高アクセスレベル502-1、または、高アクセスレベルと中間アクセスレベル502-2との双方が、認証された状態508であり得る。認証された状態508は、ユーザが認証された状態の一例であり、このため、アクセス(ただし、必ずしもフルアクセスとは限らない)がUE102によって許可される。このため、ユーザは認証され、次に、アクセスが与えられる。この文書全体にわたって述べられるように、説明される手法およびシステムは、UE102へのアクセスがユーザにとってより簡単であり、かつ、アクセスは第三者ではなく認証されたユーザに与えられる可能性がより高い、より優れたセキュリティを可能にする。最後に、アクセス状態502は、低アクセス状態502-3として示されるように、アクセスの許可を控える場合がある。この場合、デバイスはオンされてもよく、ユーザを起こすためにアラームなどの通知を送信するなどしてもよいが、UE102の機能へのアクセスを許可しないようになっていてもよい(または、UE102は単にオフされ、よってアクセスを許可しないようになっていてもよい)。
電力状態504は、高電力状態504-1、中間電力状態504-2、および低電力状態504-3という、例示的な3つの粒度レベルで示される。電力状態504は、レーダーシステム104、ディスプレイ116、または他の電力消費コンポーネント、たとえばプロセッサ、カメラ、マイク、音声アシスタント、タッチスクリーン、センサ、レーダー、および(同様に列挙された前述のコンポーネントを含み得る)認証システム114の一部であるコンポーネントといった、UE102の1つ以上のコンポーネントへの電力量に携わっている。コンポーネントをパワーアップする状況、および電力状態504では概して、電力供給する、パワーアップする、電力を増加させる、電力を減少させるなどの用語は、電力管理集積回路(power-management integrated circuit:PMIC)を制御すること;PMICから延びる電力レールを管理すること;電力レール、PMIC、および1つ以上の回路部品(たとえば、述べられたNIRコンポーネント、カメラ、ディスプレイ、およびレーダー)の間のスイッチを開閉すること;ならびに、コンポーネントを正確にかつ安全に動作させるために供給電圧を提供することを含んでいてもよく、それは、印加電圧を増減または分散させること、または電流流入を管理することを含んでいてもよい。
レーダーシステム104については、電力状態504は、異なるデューティサイクルでレーダーデータを収集する(たとえば、より低い周波数はより少ない電力を使用するかもしれず、より高い周波数はより多くの電力を使用するかもしれない)こと、さまざまなコンポーネントがアクティブでない場合に当該コンポーネントをオフにすること、または、電力増幅レベルを調節することによって低下され得る。そうすることにより、レーダーシステム104は、高電力状態504-1では約90mW、中間電力状態504-2では30~60mW、または、低電力状態504-3では30mW未満の電力を使用してもよい(たとえば、レーダーシステム104は、ユーザの存在などの何らかの使用可能なレーダーデータを依然として提供しながら、2~20mWで動作することができる)。電力使用量のこれらのレベルの各々は、異なる分解能および距離を許可する。レーダーシステム104(およびUE102)の電力管理に関する追加の詳細は、図6-1を参照して説明される。
上述の状態を変更する状況では、状態マネージャ112は、レーダーマネージャ106または動きマネージャ110による判断に基づいて、認証システム114またはディスプレイ116といったUE102のさまざまなコンポーネントへの電力を、より低い電力状態から(たとえば、低電力状態504-3から中間電力状態504-2へ、または、これらのうちのいずれかから高電力状態504-1へ)増加させてもよい。そうすることにより、UE102は、より迅速にまたはより容易にユーザに関与するかまたはユーザを認証してもよい。このため、状態マネージャ112は、UE102のシステムのための、または、UE102に関連付けられた特定の電力消費エンティティのための現在の電力よりも高いかまたは低い電力になるように、電力状態504を変更してもよい。例示的なコンポーネントは、上述の図2の一部としてさらに説明されており、顔認識ロック解除センサ212およびそのコンポーネント、NIR投光イルミネータ214およびNIRドットプロジェクタ216、ならびにNIRカメラ218-1および218-2をパワーアップ(またはダウン)することを含む。
UE102の第3の例示的な状態は情報状態506であり、それは、高情報状態506-1、中間情報状態506-2、および低情報状態506-3で例示される。より詳細には、情報状態506は、ユーザ、たとえば図1のユーザ120に提供される情報量に携わっている。通知の状況では、高情報状態506-1は最高レベルの情報を提供し、UE102がロック解除されているかまたは他の態様で認証されている、もしくは、認証なしでも高レベルの情報を提供するためのユーザ嗜好を有していると概して仮定する。例は、高情報状態506-1については、通話が受信されると発信者の名前、番号、さらには関連画像を示すことを含む。同様に、テキストまたは電子メールまたは他のタイプのメッセージが受信されると、コンテンツが、ディスプレイ116または音声スピーカ、周辺装置などを通して自動的に提示される。これは高レベルの関与を呈するが、ユーザの嗜好は、どのような関与が必要とされるかを判断することができる。ここで、ユーザの関与と提供される情報量との間には何らかの相関があり、したがって、手法は、関与を判断することにより、提示される情報をその判断に合わせることができると仮定される。たとえば中間情報状態506-2といった、情報減少の例は、通話が受信されると着信音を提示するものの、発信者の名前/識別情報を提示しないこと、テキストメッセージまたは電子メールが受信されたことを示すものの、その全部ではなく、件名のみ、またはアドレスのみ、または本文の内容の一部を示すことなどを含む。低情報状態506-3は、ユーザ120に個人的に関連付けられる情報をほとんどまたはまったく提示しないが、ディスプレイ116が現在の日付、時間、気象条件、バッテリー電源ステータス、またはUE102がオンであることを示すといったように、包括的であり、もしくは常識または非機密事項であると広く考えられている情報を含み得る。低情報状態506-3の他の例は、テキストメッセージが、単にメッセージが受信されたことを示す「ピーン」という可聴音とともに受信される場合、もしくは、通話についての着信音が受信されるものの、発信者の名前、番号、または他の情報は受信されない場合の、空白のまたは黒い画面を含む。
図6-1は、レーダーシステム104の例示的な実現化例600を示す。例600では、レーダーシステム104は、通信インターフェイス602、アンテナアレイ604、トランシーバ606、プロセッサ608、およびシステム媒体610(たとえば、1つ以上のコンピュータ読取可能記憶媒体)というコンポーネントの各々のうちの少なくとも1つを含む。プロセッサ608は、デジタル信号プロセッサ、コントローラ、アプリケーションプロセッサ、他のプロセッサ(たとえば、UE102のコンピュータプロセッサ402)、またはそれらの何らかの組合せとして実現され得る。UE102のコンピュータ読取可能媒体404内に含まれていても、またはコンピュータ読取可能媒体404から離れていてもよいシステム媒体610は、減衰緩和器614、デジタルビーム形成器616、角度推定器618、または電力管理モジュール620というモジュールのうちの1つ以上を含む。これらのモジュールは、UE102内へのレーダーシステム104の一体化を補償するかまたは当該一体化の影響を緩和することができ、それにより、レーダーシステム104が、小さいジェスチャーまたは複雑なジェスチャーを認識すること、ユーザの異なる配向(たとえば「リーチ」(手を伸ばすこと))を区別すること、外部環境を連続的に監視すること、または、目標誤警報確率を実現することを可能にする。これらの特徴を有して、レーダーシステム104は、図4に示すデバイスなどのさまざまな異なるデバイス内で実現され得る。
通信インターフェイス602を使用して、レーダーシステム104はレーダーデータをレーダーマネージャ106に提供することができる。通信インターフェイス602は、レーダーシステム104がUE102から離れてまたはUE102内に一体化されて実現されることに基づいて、無線または有線インターフェイスであってもよい。アプリケーションに依存して、レーダーデータは、未加工データまたは最小限に処理されたデータ、同相および直交位相(in-phase and quadrature:I/Q)データ、レンジドップラーデータ、目標位置情報(たとえば範囲、方位角、仰角)を含む処理済データ、クラッタマップデータなどを含んでいてもよい。一般に、レーダーデータは、関与しようとする、関与を解除しようとする、または関与を維持しようとするユーザの意図を状態マネージャ112に提供するためにレーダーマネージャ106によって使用可能な情報を含む。
アンテナアレイ604は、少なくとも1つの送信アンテナ素子(図示せず)と、(図7に示すような)少なくとも2つの受信アンテナ素子とを含む。場合によっては、アンテナアレイ604は、複数の別個の波形(たとえば、送信アンテナ素子ごとに異なる波形)を一度に送信することができるマルチ入力マルチ出力(multiple-input multiple-output:MIMO)レーダーを実現するために、複数の送信アンテナ素子を含んでいてもよい。複数の波形の使用は、レーダーシステム104の測定精度を高め得る。3つ以上の受信アンテナ素子を含む実現化例のために、受信アンテナ素子は、1次元形状(たとえば線)または2次元形状で位置付けられ得る。1次元形状は、レーダーシステム104が1つの角度寸法(たとえば、方位角または仰角)を測定することを可能にし、一方、2次元形状は、2つの角度寸法(たとえば、方位角および仰角の双方)が測定されることを可能にする。受信アンテナ素子の例示的な2次元配置は、図7に関してさらに説明される。
図6-2は、例示的なトランシーバ606およびプロセッサ608を示す。トランシーバ606は、レーダーシステム104の動作状態に従って電力管理モジュール620を介して個々にオンまたはオフにされ得る複数のコンポーネントを含む。なお、電力管理モジュール620は、離れていてもよく、一体化されていてもよく、もしくは、状態マネージャ112が、ユーザを認証するために使用されるコンポーネント(たとえば認証システム114)をパワーアップまたはダウンしている場合のように状態マネージャ112の制御下にあってもよい。トランシーバ606は、アクティブコンポーネント622、電圧制御発振器(voltage-controlled oscillator:VCO)兼電圧制御バッファ624、マルチプレクサ626、アナログ/デジタル変換器(analog-to-digital converter:ADC)628、位相ロックループ(phase lock loop:PLL)630、および水晶発振器632というコンポーネントの各々のうちの少なくとも1つを含むように示される。オンにされた場合、これらのコンポーネントの各々は、レーダーシステム104がレーダー信号を送信または受信するためにこれらのコンポーネントをアクティブに使用していなくても、電力を消費する。アクティブコンポーネント622はたとえば、供給電圧に結合される増幅器またはフィルタを含み得る。VCO624は、PLL630によって提供される制御電圧に基づいて周波数変調レーダー信号を生成する。水晶発振器632は、レーダーシステム104内の信号発生、周波数変換(たとえばアップコンバージョンまたはダウンコンバージョン)、もしくはタイミング動作のための基準信号を生成する。これらのコンポーネントをオンまたはオフにすることにより、電力管理モジュール620は、レーダーシステム104が、アクティブな動作状態と非アクティブな動作状態とを迅速に切り替え、さまざまな非アクティブ期間中に電力を節約することを可能にする。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであってもよい。
プロセッサ608は、低電力プロセッサ608-1および高電力プロセッサ608-2といった、異なる量の電力を消費する複数のプロセッサを含むように示される。一例として、低電力プロセッサ608-1は、レーダーシステム104内に埋込まれたプロセッサを含んでいてもよく、高電力プロセッサは、レーダーシステム104の外部にあるコンピュータプロセッサ402または何らかの他のプロセッサを含んでいてもよい。消費電力の差は、異なる量の利用可能なメモリまたは計算能力に起因し得る。たとえば、低電力プロセッサ608-1は、高電力プロセッサ608-2と比べて、より少ないメモリを利用し、より少ない計算を行ない、または、より単純なアルゴリズムを利用する場合がある。これらの制限にもかかわらず、低電力プロセッサ608-1は、(慣性データではなくレーダーデータに基づく)近接検出または動き検出といった、それほど複雑でないレーダーベースのアプリケーションのためにデータを処理することができる。高電力プロセッサ608-2は対照的に、大量のメモリを利用し、大量の計算を行ない、もしくは、複雑な信号処理、追跡、または機械学習アルゴリズムを実行する場合がある。高電力プロセッサ608-2は、(認証システム114のための)ジェスチャー認識、顔認識といった、注目を集めているレーダーベースのアプリケーションのためにデータを処理し、角度曖昧性の解決または複数のユーザおよび当該ユーザの特徴の識別を通して正確で高分解能のデータを提供し得る。
電力を節約するために、電力管理モジュール620は、レーダーデータを処理するために低電力プロセッサ608-1または高電力プロセッサ608-2が使用されるかどうかを制御することができる。場合によっては、低電力プロセッサ608-1は、分析の一部を行なって、データを高電力プロセッサ608-2に渡すことができる。例示的なデータは、クラッタマップ、未加工レーダーデータまたは最小限に処理されたレーダーデータ(たとえば、同相および直交位相データ、またはレンジドップラーデータ)、または、デジタルビーム形成データを含んでいてもよい。低電力プロセッサ608-1はまた、高電力プロセッサ608-2が分析するべき対象の何かが環境に存在するかどうかを判断するために、何らかの低レベル分析を行なってもよい。このように、高忠実度のまたは正確なレーダーデータがレーダーベースのアプリケーションによって要求される場合のために高電力プロセッサ608-2を利用しながら、高電力プロセッサ608-2の動作を制限することによって、電力が節約され得る。レーダーシステム104内の消費電力に影響を与え得る他の要因は、図6-1に関してさらに説明される。
これらのおよび他の能力および構成と、図1、図2、図4、および図6~9のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。これらのエンティティは、さらに分割されたり、組合されたりしてもよい。図1の環境100と、図2~9の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。図6~9は、レーダーシステム104の追加の詳細および特徴を説明する。図6~9では、レーダーシステム104はUE102の状況で説明されるが、上述のように、説明されるシステムおよび手法の特徴および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスに関わる他の実施形態も本教示の範囲内にあってもよい。
図7は、受信アンテナ素子702の例示的な配置700を示す。アンテナアレイ604がたとえば少なくとも4つの受信アンテナ素子702を含む場合、受信アンテナ素子702は、図7の中央に示されるような矩形配置704-1で配置され得る。それに代えて、アンテナアレイ604が少なくとも3つの受信アンテナ素子702を含む場合、三角形配置704-2またはL字形配置704-3が使用されてもよい。
UE102のサイズまたはレイアウト制約により、受信アンテナ素子702間の素子間隔、または受信アンテナ素子702の数量が、レーダーシステム104が監視する際の角度にとって理想的ではない場合がある。特に、素子間隔は、従来のレーダーがターゲットの角度位置を推定することを困難にする角度曖昧性を存在させる場合がある。従来のレーダーはしたがって、角度曖昧性を有する曖昧なゾーンを回避し、それによって誤検出を減少させるために、視野(たとえば、監視されるべき角度)を制限する場合がある。たとえば、従来のレーダーは、8ミリメートル(mm)の波長および6.5mmの素子間隔(たとえば、素子間隔は波長の90%である)を使用して生じる角度曖昧性を回避するために、視野を約-45度~45度の角度に制限する場合がある。したがって、従来のレーダーは、視野の45度の限度を超えるターゲットを検出できないかもしれない。対照的に、レーダーシステム104はデジタルビーム形成器616と角度推定器618とを含み、それらは角度曖昧性を解決し、レーダーシステム104が、約-90度~90度の角度、または約-180度および180度までの角度といった、45度の限度を超える角度を監視することを可能にする。これらの角度範囲は、1つ以上の方向(たとえば、方位角および/または仰角)にわたって適用され得る。したがって、レーダーシステム104は、レーダー信号の中心波長の半分よりも小さい、または大きい、または当該中心波長の半分と等しい素子間隔を含む、さまざまな異なるアンテナアレイ設計のために、低い誤警報確率を実現することができる。
アンテナアレイ604を使用して、レーダーシステム104は、操向されているかまたは操向されていない、広いかまたは狭い、もしくは(たとえば半球、立方体、扇、円錐、または円筒として)形作られたビームを形成することができる。一例として、1つ以上の送信アンテナ素子(図示せず)は、操向されていない全方向放射パターンを有していてもよく、または、広い送信ビーム706などの広いビームを生成可能であってもよい。これらの手法のいずれも、レーダーシステム104が大きい空間体積を照明することを可能にする。しかしながら、目標角度精度および角度分解能を達成するために、受信アンテナ素子702およびデジタルビーム形成器616は、狭い受信ビーム708などの何千もの狭い操向されているビーム(たとえば3000本のビーム、7000本のビーム、または9000本のビーム)を生成するために使用され得る。このように、レーダーシステム104は、外部環境を効率的に監視し、外部環境内の反射の到来角を正確に判断することができる。
図6-1に戻って、トランシーバ606は、アンテナアレイ604を介してレーダー信号を送受信するための回路およびロジックを含む。トランシーバ606のコンポーネントは、レーダー信号を調整するための増幅器、ミキサー、スイッチ、アナログ/デジタル変換器、フィルタなどを含み得る。トランシーバ606はまた、変調または復調などの同相/直交位相(I/Q)動作を行なうためのロジックを含み得る。トランシーバ606は、連続波レーダー動作またはパルスレーダー動作のために構成され得る。レーダー信号を生成するために、線形周波数変調、三角形周波数変調、階段状周波数変調、または位相変調を含むさまざまな変調が使用され得る。
トランシーバ606は、1ギガヘルツ(GHz)~400GHz、4GHz~100GHz、または57GHz~63GHzといった、ある範囲の周波数(たとえば周波数スペクトル)内のレーダー信号を生成することができる。周波数スペクトルは、同様の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、500メガヘルツ(MHz)、1GHz、2GHzなどのオーダーであり得る。一例として、異なる周波数サブスペクトルは、約57GHz~59GHz、59GHz~61GHz、または61GHz~63GHzの周波数を含んでいてもよい。同じ帯域幅を有し、隣接していても隣接していなくてもよい複数の周波数サブスペクトルはまた、干渉性のために選択されてもよい。複数の周波数サブスペクトルは、単一のレーダー信号または複数のレーダー信号を使用して、同時に送信されてもよく、または時間的に隔てられてもよい。隣接している周波数サブスペクトルは、レーダー信号がより広い帯域幅を有することを可能にし、一方、隣接していない周波数サブスペクトルは、角度推定器618が角度曖昧性を解決することを可能にする振幅および位相の差をさらに強調することができる。減衰緩和器614または角度推定器618は、図8および図9に関してさらに説明されるように、レーダーシステム104の性能を向上させるためにトランシーバ606に1つ以上の周波数サブスペクトルを利用させてもよい。手法のいくつかの実施形態が特に有利であるのは、たとえば、UE102がハンドヘルドスマートフォンであり、レーダー信号が57Ghz~64Ghzの帯域にあり、ピーク等価等方放射電力(effective isotropic radiated power:EIRP)が10dBm~20dBm(10mW~100mW)の範囲にあり、平均パワースペクトル密度が約13dBm/MHzである場合であり、それは、放射健全性および共存の問題に好適に対処しつつ、レーダー検出のほどよいサイズの「バブル」(たとえば、範囲が少なくとも1メートルであり、最大2メートルまたはそれを超えることも多い)をスマートフォンおよびユーザの近辺に提供することが分かっている。バブル内では、IMUおよびレーダーを介した認証管理のための説明される方法は、電力を節約しつつ、特に優れた時間節約の便宜を提供する。
電力管理モジュール620は、性能と消費電力とのバランスを取るように電力使用量を管理する。たとえば、電力管理モジュール620はレーダーマネージャ106と通信して、レーダーシステム104に、定義済レーダー電力状態を使用してデータを収集させる。各定義済レーダー電力状態は、特定のフレーミング構造、特定の送信電力レベル、または特定のハードウェア(たとえば、図6-2の低電力プロセッサ608-1または高電力プロセッサ608-2)に関連付けられ得る。これらのうちの1つ以上を調節することは、レーダーシステム104の消費電力に影響を与える。しかしながら、消費電力を減少させることは、以下に説明されるジェスチャーフレーム更新レートおよび応答遅延といった性能に影響を与える。
図6-3は、消費電力、ジェスチャーフレーム更新レート634、および応答遅延の間の例示的な関係を示す。グラフ636では、レーダー電力状態638-1、638-2、および638-3は、異なるレベルの消費電力および異なるジェスチャーフレーム更新レート634に関連付けられる。ジェスチャーフレーム更新レート634は、レーダーシステム104が1つ以上のレーダー信号を送受信することによってどれくらい頻繁に外部環境をアクティブに監視するかを表わす。概して言えば、消費電力は、ジェスチャーフレーム更新レート634に比例する。そのため、より高いジェスチャーフレーム更新レート634は、より多い量の電力がレーダーシステム104によって消費されることをもたらす。
グラフ636では、レーダー電力状態638-1は最少量の電力を利用し、一方、レーダー電力状態638-3は最大量の電力を消費する。一例として、レーダー電力状態638-1は、数ミリワット(mW)(たとえば、約2mW~4mW)のオーダーの電力を消費し、一方、レーダー電力状態638-3は、十数ミリワット(たとえば、約6mW~20mW)のオーダーの電力を消費する。ジェスチャーフレーム更新レート634に関しては、レーダー電力状態638-1は、数ヘルツ(たとえば、約1Hz、または5Hz未満)のオーダーの更新レートを使用し、一方、レーダー電力状態638-3は、数十ヘルツ(たとえば、約20Hz、または10Hzを上回る)のオーダーのジェスチャーフレーム更新レート634を使用する。
グラフ640は、異なるレーダー電力状態638-1~638-3についての応答遅延とジェスチャーフレーム更新レート634との関係を表わす。概して言えば、応答遅延は、ジェスチャーフレーム更新レート634および消費電力の双方に反比例する。特に、応答遅延は、ジェスチャーフレーム更新レート634が増加している間、指数関数的に減少する。レーダー電力状態638-1に関連付けられた応答遅延は数百ミリ秒(ms)(たとえば1000ms、または200msを上回る)のオーダーであってもよく、一方、レーダー電力状態638-3に関連付けられた応答遅延は数ミリ秒(たとえば50ms、または100ms未満)のオーダーであってもよい。レーダー電力状態638-2については、消費電力、ジェスチャーフレーム更新レート634、および応答遅延は、レーダー電力状態638-1の値とレーダー電力状態638-3の値との間にある。たとえば、レーダー電力状態638-2の消費電力は約5mWであり、ジェスチャーフレーム更新レートは約8Hzであり、応答遅延は約100ms~200msである。
レーダー電力状態638-1またはレーダー電力状態638-3のいずれかで動作する代わりに、電力管理モジュール620は、応答遅延および消費電力が環境内での活動に基づいてともに管理されるように、レーダー電力状態638-1、638-2、および638-3(ならびに、これらのレーダー電力状態638の各々の間のサブ状態)を動的に切り替える。一例として、電力管理モジュール620は、外部環境を監視するかまたは接近するユーザを検出するために、レーダー電力状態638-1を起動する。その後、ユーザが関与しようとする意図を示している、またはそうし始めているかもしれない、またはジェスチャーを行ない始めているかもしれないとレーダーシステム104が判断した場合、電力管理モジュール620はレーダー電力状態638-3を起動する。異なるトリガが、電力管理モジュール620に、異なるレーダー電力状態638-1~638-3間を切り替えることを行なわせてもよい。例示的なトリガは、動きまたは動きの欠如、ユーザが現われることまたはいなくなること、ユーザが指定領域(たとえば、範囲、方位角、または仰角によって定義された領域)に入ることまたは当該指定領域から出ること、ユーザに関連付けられた動きの速度の変化、レーダーマネージャ106によって判断される、関与しようとする意図(たとえば「リーチ」、ただし、いくつかの関与しようとする意図は、顔特徴追跡などの追加の電力を必要とする)、もしくは、(たとえば、レーダー断面の変化による)反射信号強度の変化を含む。一般に、ユーザがUE102と相互作用する可能性がより低いこと、または、より長い応答遅延を使用してデータを収集することを好むことを示すトリガは、電力を節約するためにレーダー電力状態638-1を起動させてもよい。
一般に、電力管理モジュール620は、電力がいつ、どのように節約され得るかを判断し、レーダーシステム104がUE102の電力制限内で動作することを可能にするように消費電力を徐々に調節する。場合によっては、電力管理モジュール620は、残りの利用可能電力の量を監視し、それに応じて(たとえば低バッテリーに起因して)レーダーシステム104の動作を調節してもよい。たとえば、残りの電力の量が少ない場合、電力管理モジュール620は、レーダー電力状態638-2または638-3のいずれかに切り替わる代わりに、レーダー電力状態638-1で動作し続けてもよい。
各電力状態638-1~638-3は、特定のフレーミング構造に関連付けられ得る。フレーミング構造は、レーダー信号の送受信に関連付けられた構成、スケジューリング、および信号特性を特定する。一般に、フレーミング構造は、適切なレーダーデータが外部環境に基づいて収集され得るようにセットアップされる。フレーミング構造は、異なるアプリケーション(たとえば近接検出、特徴認識、またはジェスチャー認識)のための異なるタイプのレーダーデータの収集を容易にするためにカスタマイズされ得る。フレーミング構造の各レベル全体にわたる非アクティブ時間中、電力管理モジュール620は、電力を節約するために、図6-2のトランシーバ606内のコンポーネントをオフにすることができる。例示的なフレーミング構造が、図6-4に関してさらに説明される。
図6-4は、例示的なフレーミング構造642を示す。図示された構成では、フレーミング構造642は、3つの異なるタイプのフレームを含む。上のレベルでは、フレーミング構造642は、アクティブ状態または非アクティブ状態にあり得るジェスチャーフレーム644のシーケンスを含む。概して言えば、アクティブ状態は、非アクティブ状態と比べて、より多い量の電力を消費する。中間レベルでは、フレーミング構造642は、同様にアクティブ状態または非アクティブ状態にあり得る特徴フレーム(feature frame:FF)646のシーケンスを含む。異なるタイプの特徴フレームは、パルスモード特徴フレーム648(図6-4の左下に示される)と、バーストモード特徴フレーム650(図6-4の右下に示される)とを含む。下のレベルでは、フレーミング構造642は、同様にアクティブ状態または非アクティブ状態にあり得るレーダーフレーム(radar frame:RF)652のシーケンスを含む。
レーダーシステム104は、アクティブレーダーフレーム(RF)652中にレーダー信号を送受信する。場合によっては、レーダーフレーム652は、検索および追跡、クラッタマップ生成、ユーザの場所の判断などといった基本的なレーダー動作のために個々に分析される。各アクティブレーダーフレーム652中に収集されたレーダーデータは、レーダーフレーム652の完了後にバッファに保存され、または、図6-1のプロセッサ608に直接提供され得る。
レーダーシステム104は、1つ以上のジェスチャーに関連付けられた特定の特徴を識別するために、複数のレーダーフレーム652にわたって(たとえば、アクティブ特徴フレーム646に関連付けられたレーダーフレーム652のグループにわたって)レーダーデータを分析する。例示的なタイプの特徴は、特定のタイプの動き、特定の付属器官(たとえば手または各々の指)に関連付けられた動き、および、ジェスチャーの異なる部分に関連付けられた特徴を含む。アクティブジェスチャーフレーム644中にユーザ120によって行なわれたジェスチャーを認識するために、レーダーシステム104は、1つ以上のアクティブ特徴フレーム646に関連付けられたレーダーデータを分析する。
ジェスチャーのタイプに依存して、ジェスチャーフレーム644の持続時間は、ミリ秒または秒(たとえば、約10ms~10s)のオーダーであってもよい。アクティブジェスチャーフレーム644が生じた後で、レーダーシステム104は、非アクティブジェスチャーフレーム644-3および644-4によって示されるように非アクティブになる。非アクティブジェスチャーフレーム644の持続時間はディープスリープ時間654によって特徴付けられ、それは、数十ミリ秒以上(たとえば、50msを上回る)のオーダーであってもよい。例示的な実現化例では、レーダーシステム104は、ディープスリープ時間654中、電力を節約するために、トランシーバ606内のコンポーネントをすべてオフにすることができる。
図示されたフレーミング構造642では、各ジェスチャーフレーム644はK個の特徴フレーム646を含み、ここでKは正の整数である。ジェスチャーフレーム644が非アクティブ状態にある場合、そのジェスチャーフレーム644に関連付けられた特徴フレーム646もすべて非アクティブ状態にある。対照的に、アクティブジェスチャーフレーム644は、J個のアクティブ特徴フレーム646と、K-J個の非アクティブ特徴フレーム646とを含み、ここでJは、K以下である正の整数である。特徴フレーム646の数量はジェスチャーの複雑性に基づいていてもよく、数個から100個の特徴フレーム646を含んでいてもよい(たとえば、Kは2、10、30、60、または100と等しくてもよい)。各特徴フレーム646の持続時間は、ミリ秒(たとえば、約1ms~50ms)のオーダーであってもよい。
電力を節約するために、アクティブ特徴フレーム646-1~646-Jが、非アクティブ特徴フレーム646-(J+1)~646-Kに先立って生じる。非アクティブ特徴フレーム646-(J+1)~646-Kの持続時間は、スリープ時間656によって特徴付けられる。このように、非アクティブ特徴フレーム646-(J+1)~646-Kは、非アクティブ特徴フレーム646-(J+1)~646-Kをアクティブ特徴フレーム646-1~646-Jと交互配置する他の手法と比べて、より長い持続時間の間、レーダーシステム104がパワーダウン状態にあり得るように、連続的に実行される。概して言えば、スリープ時間656の持続時間を増加させることは、レーダーシステム104が、より長い起動時間を必要とするトランシーバ606内のコンポーネントをオフにすることを可能にする。
各特徴フレーム646はL個のレーダーフレーム652を含み、ここでLは、JまたはKと等しくても等しくなくてもよい正の整数である。いくつかの実現化例では、レーダーフレーム652の数量は、異なる特徴フレーム646によって異なっていてもよく、数個のフレームまたは数百個のフレームを含んでいてもよい(たとえば、Lは5、15、30、100、または500と等しくてもよい)。レーダーフレーム652の持続時間は、数十または数千マイクロ秒(たとえば、約30μs~5ms)のオーダーであってもよい。特定の特徴フレーム646内のレーダーフレーム652は、予め定められた検出範囲、範囲分解能、またはドップラー感度についてカスタマイズ可能であり、それは、特定の特徴およびジェスチャーの検出を容易にする。たとえば、レーダーフレーム652は、特定のタイプの変調、帯域幅、周波数、送信電力、またはタイミングを利用してもよい。特徴フレーム646が非アクティブ状態にある場合、その特徴フレーム646に関連付けられたレーダーフレーム652もすべて非アクティブ状態にある。
パルスモード特徴フレーム648およびバーストモード特徴フレーム650は、レーダーフレーム652の異なるシーケンスを含む。概して言えば、アクティブパルスモード特徴フレーム648内のレーダーフレーム652は、予め定められた量だけ時間的に隔てられたパルスを送信する。対照的に、アクティブバーストモード特徴フレーム650内のレーダーフレーム652は、バーストモード特徴フレーム650の一部を越えてパルスを連続的に送信する(たとえば、パルスは、予め定められた時間量だけ隔てられていない)。
各アクティブパルスモード特徴フレーム648内では、レーダーフレーム652のシーケンスは、アクティブ状態と非アクティブ状態とを交互に繰り返す。各アクティブレーダーフレーム652は、三角形によって例示されるレーダー信号(たとえばチャープ)を送信する。レーダー信号の持続時間は、アクティブ時間658によって特徴付けられる。アクティブ時間658中、トランシーバ606内のコンポーネントはパワーオンされる。アクティブレーダーフレーム652内の残存時間と次の非アクティブレーダーフレーム652の持続時間とを含む短いアイドル時間660中、レーダーシステム104は、短いアイドル時間660の持続時間内に起動時間を有するトランシーバ606内のコンポーネントをオフにすることによって電力を節約する。
アクティブバーストモード特徴フレーム650は、M個のアクティブレーダーフレーム652と、L-M個の非アクティブレーダーフレーム652とを含み、ここでMは、L以下である正の整数である。電力を節約するために、アクティブレーダーフレーム652-1~652-Mが、非アクティブレーダーフレーム652-(M+1)~652-Lに先立って生じる。非アクティブレーダーフレーム652-(M+1)~652-Lの持続時間は、長いアイドル時間662によって特徴付けられる。非アクティブレーダーフレーム652-(M+1)~652-Lをともにグループ化することにより、レーダーシステム104は、パルスモード特徴フレーム648中に生じる短いアイドル時間660と比べて、より長い持続時間の間、パワーダウン状態にあり得る。加えて、電力管理モジュール620は、短いアイドル時間660よりも長く、長いアイドル時間662よりも短い起動時間を有するトランシーバ606内の追加のコンポーネントをオフにすることができる。
アクティブバーストモード特徴フレーム650内の各アクティブレーダーフレーム652は、レーダー信号の一部を送信する。この例では、アクティブレーダーフレーム652-1~652-Mは、周波数が増加するレーダー信号の一部を送信することと、周波数が減少するレーダー信号の一部を送信することとを交互に繰り返す。
フレーミング構造642は、電力が、各フレームタイプ内の調節可能なデューティサイクルを通して節約されることを可能にする。第1のデューティサイクル664は、特徴フレーム646の総数量(K)に対するアクティブ特徴フレーム646の数量(J)に基づく。第2のデューティサイクル665は、レーダーフレーム652の総数量(L)に対するアクティブレーダーフレーム652の数量(たとえばL/2またはM)に基づく。第3のデューティサイクル668は、レーダーフレーム652の持続時間に対するレーダー信号の持続時間に基づく。
約2mWの電力を消費し、約1Hz~4Hzのジェスチャーフレーム更新レート634を有する電力状態638-1についての例示的なフレーミング構造642を考慮されたい。この例では、フレーミング構造642は、約250ms~1秒の持続時間を有するジェスチャーフレーム644を含む。ジェスチャーフレーム644は、31個のパルスモード特徴フレーム648を含む(たとえば、Lは31と等しい)。31個のパルスモード特徴フレーム648のうちの1つが、アクティブ状態にある。これは、デューティサイクル664が約3.2%に等しいことをもたらす。各パルスモード特徴フレーム648の持続時間は、約8ms~32msである。各パルスモード特徴フレーム648は、8個のレーダーフレーム652から構成される。アクティブパルスモード特徴フレーム648内では、8個のレーダーフレーム652はすべてアクティブ状態にある。これは、デューティサイクル665が100%に等しいことをもたらす。各レーダーフレーム652の持続時間は、約1ms~4msである。各アクティブレーダーフレーム652内のアクティブ時間658は、約32μs~128μsである。そのため、結果として生じるデューティサイクル668は、約3.2%である。この例示的なフレーミング構造642は、良好な性能結果を生み出すことが分かっている。これらの良好な性能結果は、良好なジェスチャー認識および存在検出に関するものであり、低電力状態(たとえば低電力状態504-3)にあるハンドヘルドスマートフォンの適用状況においても良好な電力効率結果を生み出す。
フレーミング構造642に基づいて、電力管理モジュール620は、レーダーシステム104がレーダーデータをアクティブに収集していない時間を判断することができる。この非アクティブ期間に基づいて、電力管理モジュール620は、以下にさらに説明されるように、レーダーシステム104の動作状態を調節し、トランシーバ606の1つ以上のコンポーネントをオフにすることによって、電力を節約することができる。
述べられるように、電力管理モジュール620は、非アクティブ期間中、トランシーバ606内の1つ以上のコンポーネント(たとえば電圧制御発振器、マルチプレクサ、アナログ/デジタル変換器、位相ロックループ、または水晶発振器)をオフにすることによって、電力を節約することができる。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであり得るレーダー信号をレーダーシステム104がアクティブに送信または受信していない場合に生じる。また、電力管理モジュール620は、信号増幅器によって提供される増幅の量を調節することによって、レーダー信号の送信電力を修正することができる。加えて、電力管理モジュール620は、電力を節約するために、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御することができる。プロセッサ608がたとえばより低電力のプロセッサとより高電力のプロセッサと(たとえば、異なる量のメモリおよび計算能力を有するプロセッサ)を含む場合、電力管理モジュール620は、低レベル分析(たとえば、動きを検出すること、ユーザの場所を判断すること、または環境を監視すること)のためにより低電力のプロセッサを利用することと、高忠実度または正確なレーダーデータがレーダーマネージャ106によって要求される場合のために(たとえば、レーダーデータを使用してユーザを認証するための認証システム114の高電力状態504-1を実現するために)より高電力のプロセッサを利用することとを切り替えることができる。
上述の内部電力節約手法に加えて、電力管理モジュール620はまた、単独でまたは認証システム114の指令で、UE102内にある他の外部コンポーネントまたはセンサを起動または停止することによって、UE102内の電力を節約することができる。これらの外部コンポーネントは、スピーカ、カメラセンサ、全地球測位システム、無線通信トランシーバ、ディスプレイ、ジャイロスコープ、または加速度計を含んでいてもよい。レーダーシステム104は少量の電力を使用して環境を監視することができるため、電力管理モジュール620は、ユーザがどこに位置するか、またはユーザが何をしているかに基づいて、これらの外部コンポーネントを適切にオンまたはオフにすることができる。このように、UE102は、自動遮断タイマーを使用すること、もしくは、ユーザがUE102を物理的に触るかまたは言葉で制御することなく、ユーザにシームレスに応答して電力を節約することができる。
図8は、UE102内のレーダーシステム104の例示的な実現化例800の追加の詳細を示す。例800では、アンテナアレイ604は、ガラスカバーまたは外部ケースといった、UE102の外部ハウジングの下に位置付けられる。その材料特性に依存して、外部ハウジングは減衰器802として作用する場合があり、それは、レーダーシステム104によって送受信されるレーダー信号を減衰させるかまたは歪める。減衰器802は、異なるタイプのガラスまたはプラスチックを含んでいてもよく、それらのうちのいくつかは、UE102のディスプレイスクリーン、外部ハウジング、または他のコンポーネント内で見つかってもよく、約4~10の誘電率(たとえば比誘電率)を有していてもよい。したがって、減衰器802はレーダー信号806に対して不透過性または半透過性であり、送信または受信されたレーダー信号806の一部が(反射部分804によって示されるように)反射されることをもたらし得る。従来のレーダーについては、減衰器802は、監視可能な有効範囲を減少させ、小さいターゲットが検出されることを防止し、または、全体的精度を減少させ得る。
レーダーシステム104の送信電力が制限され、外部ハウジングの再設計が望ましくないと仮定すると、レーダー信号806の1つ以上の減衰依存特性(たとえば、周波数サブスペクトル808または操向角810)、もしくは、減衰器802の減衰依存特性(たとえば、減衰器802とレーダーシステム104との間の距離812、または減衰器802の厚さ814)が、減衰器802の影響を緩和するために調節される。これらの特性のうちのいくつかは、製造中に設定され、または、レーダーシステム104の動作中に減衰緩和器614によって調節され得る。減衰緩和器614はたとえば、トランシーバ606が、選択された周波数サブスペクトル808または操向角810を使用してレーダー信号806を送信するようにし、プラットフォームが、距離812を変更するためにレーダーシステム104を減衰器802に近づくかまたは減衰器802から遠ざかるように動かすようにし、もしくは、ユーザに、減衰器802の厚さ814を増加させるために別の減衰器を適用するよう促し得る。
減衰器802の予め定められた特性(たとえば、UE102のコンピュータ読取可能媒体404に、またはシステム媒体610内に格納された特性)に基づいて、もしくは、減衰器802の1つ以上の特性を測定するためにレーダー信号806のリターンを処理することによって、適切な調節が減衰緩和器614によって行なわれ得る。減衰依存特性のうちのいくつかが固定または制約されても、減衰緩和器614は、これらの制限を考慮に入れて、各パラメータのバランスを取り、目標レーダー性能を達成することができる。その結果、減衰緩和器614は、レーダーシステム104が、減衰器802の反対側に位置するユーザを検出して追跡するための高められた精度およびより大きい有効範囲を実現することを可能にする。これらの手法は、レーダーシステム104の消費電力を増加させる送信電力の増加に対する代替案、または、デバイスがいったん生産され始めると困難で高価になり得る減衰器802の材料特性の変更に対する代替案を提供する。
図9は、レーダーシステム104によって実現される例示的なスキーム900を示す。スキーム900の部分は、プロセッサ608、コンピュータプロセッサ402、または他のハードウェア回路によって行なわれてもよい。スキーム900は、異なるタイプの電子デバイスおよびレーダーベースのアプリケーション(たとえばレーダーマネージャ106)をサポートするためにカスタマイズ可能であり、また、レーダーシステム104が設計制約にもかかわらず目標角度精度を達成することを可能にする。
トランシーバ606は、受信されたレーダー信号に対する受信アンテナ素子702の個々の応答に基づいて、未加工データ902を生成する。受信されたレーダー信号は、角度曖昧性の解決を容易にするために角度推定器618によって選択された1つ以上の周波数サブスペクトル904に関連付けられてもよい。周波数サブスペクトル904はたとえば、サイドローブの量を減少させるように、または、サイドローブの振幅を減少させる(たとえば、振幅を0.5dB、1dB、またはそれ以上減少させる)ように選択されてもよい。周波数サブスペクトルの量は、レーダーシステム104の目標角度精度または計算制限に基づいて判断され得る。
未加工データ902は、受信アンテナ素子702にそれぞれ関連付けられた期間、異なる波数、および複数のチャネルについてのデジタル情報(たとえば、同相および直交位相データ)を含む。未加工データ902に対して高速フーリエ変換(Fast-Fourier Transform:FFT)906が行なわれ、前処理済データ908を生成する。前処理済データ908は、当該期間にわたって、異なる範囲(たとえば、範囲ビン)についての、および当該複数のチャネルについてのデジタル情報を含む。前処理済データ908に対してドップラーフィルタリングプロセス910が行なわれ、レンジドップラーデータ912を生成する。ドップラーフィルタリングプロセス910は、複数の範囲ビン、複数のドップラー周波数についての、および当該複数のチャネルについての振幅および位相情報を生成する別のFFTを含んでいてもよい。レンジドップラーデータ912に基づいて、デジタルビーム形成器616はビーム形成データ914を生成する。ビーム形成データ914は、デジタルビーム形成器616によって異なる操向角またはビームが形成される視野を表わす1組の方位角および/または仰角についてのデジタル情報を含む。図示されていないものの、これに代えて、デジタルビーム形成器616は、前処理済データ908に基づいてビーム形成データ914を生成してもよく、ドップラーフィルタリングプロセス910は、ビーム形成データ914に基づいてレンジドップラーデータ912を生成してもよい。計算量を減少させるために、デジタルビーム形成器616は、対象の範囲、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ912または前処理済データ908の一部を処理してもよい。
デジタルビーム形成器616は、シングルルックビーム形成器916、マルチルック干渉計918、またはマルチルックビーム形成器920を使用して実現され得る。一般に、シングルルックビーム形成器916は、決定論的物体(たとえば、単一の位相中心を有するポイントソースターゲット)のために使用され得る。非決定論的ターゲット(たとえば、複数の位相中心を有するターゲット)については、マルチルック干渉計918またはマルチルックビーム形成器920が、シングルルックビーム形成器916と比べて精度を向上させるために使用される。人間は、非決定論的ターゲットの一例であり、924-1および924-2で示されるような異なるアスペクト角に基づいて変わり得る複数の位相中心922を有する。複数の位相中心922によって生成された建設的または相殺的干渉における変動は、従来のレーダーシステムが角度位置を正確に判断することを困難にし得る。しかしながら、マルチルック干渉計918またはマルチルックビーム形成器920は、ビーム形成データ914の精度を高めるために干渉平均化を行なう。マルチルック干渉計918は、2つのチャネルの干渉平均化を行ない、角度情報を正確に判断するために使用され得る位相情報を生成する。一方、マルチルックビーム形成器920は、フーリエ、カポン(Capon)、多重信号分類(multiple signal classification:MUSIC)、または最小分散無歪応答(minimum variance distortion less response:MVDR)といった線形または非線形ビーム形成器を使用して、2つ以上のチャネルの干渉平均化を行なうことができる。マルチルックビーム形成器920またはマルチルック干渉計918を介して提供された精度向上は、レーダーシステム104が小さいジェスチャーを認識するかまたはユーザの複数の部分(たとえば顔特徴)を区別することを可能にする。
角度推定器618は、ビーム形成データ914を分析して、1つ以上の角度位置を推定する。角度推定器618は、信号処理手法、パターンマッチング手法、または機械学習を利用してもよい。角度推定器618はまた、レーダーシステム104の設計またはレーダーシステム104が監視する視野から生じ得る角度曖昧性を解決する。例示的な角度曖昧性を振幅プロット926内に示す(たとえば振幅応答)。
振幅プロット926は、ターゲットの異なる角度位置について、および異なる操向角810について生じ得る振幅差を示す。第1の振幅応答928-1(実線で図示)が、第1の角度位置930-1に位置付けられたターゲットについて示される。同様に、第2の振幅応答928-2(点線で図示)が、第2の角度位置930-2に位置付けられたターゲットについて示される。この例では、差は、-180度~180度の角度にわたると考えられる。
振幅プロット926に示されるように、2つの角度位置930-1および930-2について曖昧なゾーンが存在する。第1の振幅応答928-1は、第1の角度位置930-1で最も高いピークを有し、第2の角度位置930-2でより低いピークを有する。最も高いピークはターゲットの実際の位置に対応する一方、より低いピークは第1の角度位置930-1を曖昧にする。なぜなら、それは、従来のレーダーが、ターゲットが第1の角度位置930-1にあるかまたは第2の角度位置930-2にあるかを確信を持って判断することができないかもしれない、何らかのしきい値内にあるためである。対照的に、第2の振幅応答928-2は、第2の角度位置930-2でより低いピークを有し、第1の角度位置930-1でより高いピークを有する。この場合、より低いピークはターゲットの場所に対応する。
従来のレーダーは角度位置を判断するために最も高いピーク振幅を使用するよう限定され得るが、角度推定器618は代わりに、振幅応答928-1および928-2の形状の微妙な違いを分析する。形状の特性は、たとえば、ロールオフ、ピークまたはヌルの幅、ピークまたはヌルの角度位置、ピークおよびヌルの高さまたは深さ、サイドローブの形状、振幅応答928-1または928-2内の対称性、もしくは、振幅応答928-1または928-2内の対称性の欠如を含み得る。同様の形状特性は位相応答において分析されてもよく、それは、角度曖昧性を解決するための追加情報を提供することができる。角度推定器618はしたがって、一意的な角度署名またはパターンを角度位置にマッピングする。
角度推定器618は、UE102のタイプ(たとえば計算能力または電力制約)もしくはレーダーマネージャ106のための目標角度分解能に従って選択され得るアルゴリズムまたはツール一式を含み得る。いくつかの実現化例では、角度推定器618は、ニューラルネットワーク932、畳み込みニューラルネットワーク(convolutional neural network:CNN)934、または長短期記憶(long short-term memory:LSTM)ネットワーク936を含み得る。ニューラルネットワーク932は、さまざまな深さまたは数量の隠れ層(たとえば3つの隠れ層、5つの隠れ層、または10個の隠れ層)を有していてもよく、また、異なる数量の接続を含み得る(たとえば、ニューラルネットワーク932は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る)。場合によっては、角度推定器618の計算速度を増加させるために、CNN934が使用され得る。LSTMネットワーク936は、角度推定器618がターゲットを追跡することを可能にするために使用され得る。機械学習手法を使用して、角度推定器618は、非線形関数を採用し、振幅応答928-1または928-2の形状を分析して角度確率データ938を生成し、それは、ユーザまたはユーザの部分が角度ビン内にいる可能性を示す。角度推定器618は、ターゲットがUE102の左側または右側にある確率を提供するために、2つの角度ビンといった少数の角度ビンについての角度確率データ938を提供してもよく、または、(たとえば、連続的な角度測定についての角度確率データ938を提供するために)何千もの角度ビンについての角度確率データ938を提供してもよい。
角度確率データ938に基づいて、トラッカーモジュール940が角度位置データ942を生成し、それはターゲットの角度位置を識別する。トラッカーモジュール940は、角度確率データ938において最も高い確率を有する角度ビンに基づいて、または、予測情報(たとえば、以前に測定された角度位置情報)に基づいて、ターゲットの角度位置を判断してもよい。トラッカーモジュール940はまた、レーダーシステム104がターゲットを確信を持って区別または識別することを可能にするために、1つ以上の動くターゲットを追跡してもよい。範囲、ドップラー、速度、または加速度を含む他のデータも、角度位置を判断するために使用され得る。場合によっては、トラッカーモジュール940は、アルファ-ベータトラッカー、カルマン(Kalman)フィルタ、多重仮説トラッカー(multiple hypothesis tracker:MHT)などを含み得る。
量子化器モジュール944が、角度位置データ942を取得してデータを量子化し、量子化済角度位置データ946を生成する。量子化は、レーダーマネージャ106のための目標角度分解能に基づいて行なわれ得る。いくつかの場合では、量子化済角度位置データ946が、ターゲットがUE102の右側にあるかまたは左側にあるかを示すように、もしくは、ターゲットが位置する90度の象限を識別するように、より少ない量子化レベルが使用され得る。これは、ユーザ近接検出といったいくつかのレーダーベースのアプリケーションにとっては十分かもしれない。他の場合では、量子化済角度位置データ946が、1度の数分の1、1度、5度などといった精度内でターゲットの角度位置を示すように、より多くの量子化レベルが使用され得る。この分解能は、ジェスチャー認識などのより高分解能のレーダーベースのアプリケーションのために、もしくは、ここに説明されるような注意状態または相互作用状態の実現化例において使用され得る。いくつかの実現化例では、デジタルビーム形成器616、角度推定器618、トラッカーモジュール940、および量子化器モジュール944は、単一の機械学習モジュールにおいてともに実現される。
関与しようとする、関与を解除しようとする、または関与を維持しようとするユーザの意図を判断するためにレーダーが使用される実現化例を含み、電子デバイスに関与しようとするかまたは電子デバイスと相互作用しようとするユーザの意図のしるしとして分類されるユーザアクションを検出するためにレーダーが使用される実現化例をさらに含む(これらの実現化例のいずれも、大半の現代のスマートフォンに設けられたデバイス搭載カメラを使用して代替的に達成可能であり得る)、説明される実現化例の利点のなかでも、利点は、レーダーシステムの電力使用量はカメラシステムの電力使用量よりも実質的に少ないものの、結果の正当性はしばしば、カメラシステムよりもレーダーシステムでより良好であり得る、ということである。たとえば、上述のレーダーシステム104を使用すると、判断を下すためにレーダーベクトルデータを処理するための処理電力を含めても、数ミリワット~数十ミリワット(たとえば、10mW、20mW、30mW、または40mW)の範囲の平均電力で、所望のユーザ意図検出を達成することができる。これらの低電力レベルでは、レーダーシステム104を常に有効にすることは、容易に受け入れ可能であろう。そのため、たとえば、スマートフォンレーダーシステム104が常時有効状態にある場合、ここに説明される所望の楽しくシームレスな体験が依然として、部屋で自分のスマートフォンから長時間離れて座っているユーザに提供され得る。
対照的に、大半の今日のスマートフォンに設けられた光学カメラは典型的には、数百ミリワットの電力(たとえば、40mWよりも1桁高い電力、すなわち400mW)で動作する。そのような電力レートでは、光学カメラは不利であろう。なぜなら、それらは、光学カメラを常時オン状態にすることを禁止はしないにせよ非常に非現実的にするほど、大半の今日のスマートフォンのバッテリ寿命を著しく減少させるためである。レーダーシステム104の追加の利点は、(レーダーチップが概して自撮りカメラと同じ方向に外向きに面している、多くの典型的な実現化例のために)テーブルの上に画面を上にして平らに載っている場合でも、任意の方向からユーザが歩いてくるのを容易に検出できるほど、視野がかなり大きくなり得ること、さらには、そのドップラー処理能力により、さまざまな方向からの動く身体の比較的微妙な動きさえも検出する際に(特に、60GHz近くの動作周波数で)非常に効果的であり得ることである。
加えて、レーダーシステム104は、カメラシステムの性能が低下または制限されている環境で動作可能である。たとえば、より低光量の環境では、カメラシステムは、形状または動きを検出する能力が低下するかもしれない。対照的に、レーダーシステム104は、全光量での場合と同じくらい良好に、低光量において機能する。レーダーシステム104はまた、何らかの障害物を通して存在およびジェスチャーを検出することができる。たとえば、スマートフォンがジャケットまたはズボンのポケットに入っている場合、カメラシステムは、ユーザまたはジェスチャーを検出することができない。しかしながら、レーダーシステム104は依然として、カメラシステムを阻止するような布地さえも通して、レーダー場にある物体を検出することができる。スマートフォンの内蔵ビデオカメラシステムを上回る、レーダーシステム104を使用するさらなる利点は、プライバシーである。なぜなら、ユーザは、ここに説明される楽しくシームレスな体験という利点を有することができ、同時に、そのような目的のために自分の映像を撮影しているビデオカメラがあることを心配しなくてもよいためである。
図1、図2、図4、および図6~9のエンティティは、さらに分割されたり、組合されたり、他のセンサまたはコンポーネントとともに使用されたりしてもよい。このように、レーダーシステム104およびIMU108の異なる構成を有するUE102の異なる実現化例が、IMUおよびレーダーを介した認証管理を実現するために使用され得る。図1の例示的な動作環境100と、図2~9の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示すに過ぎない。
例示的な方法
このセクションは、別々に、もしくは全体的または部分的にともに動作し得る例示的な方法を示す。さまざまな例示的な方法が説明され、それらは各々、読みやすさのためにサブセクションで述べられるが、これらのサブセクションのタイトルは、これらの方法のうちの各々と他の方法との相互運用性を限定するよう意図されてはいない。
認証管理
図10は、IMUおよびレーダーを介して認証を管理するための例示的な方法1000を示しており、ユーザ機器のための電力状態を管理する一例である。方法1000は1組のブロックとして示され、それらは行なわれる動作を特定するが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、幅広い追加のおよび/または代替的な方法(たとえば、方法1200および1400)を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、他の図面に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
1002で、レーダーデータに基づいて、およびユーザ機器によって、ユーザの関与しようとする意図が判断される。関与しようとする意図は、ユーザがユーザ機器に関与しようと意図していることを示す。上述のように、関与しようとする意図は、ほんの数例を挙げると、ユーザ120がUE102に向かって手を伸ばしている、UE102を見ている、もしくは、UE102の方に身を乗り出しているかまたは自分の体をUE102に向かって配向していると判断することによって、示され得る。
1004で、レーダーデータを通して関与しようとする意図を判断することに代えて、またはそれに加えて、ユーザ機器の動きが、慣性データに基づいて判断される。この動きは、ユーザ120がUE102を手に取ること、UE102を触ること、および上述のような他の動きを示し得る。
1006で、関与しようとする意図の判断、および、場合によっては、ユーザ機器の動きの判断に応答して、認証システムの電力消費コンポーネントの電力状態が変更される。電力消費コンポーネントの電力状態は第1の電力状態から第2の電力状態へ変更され、第2の電力状態は、第1の電力状態よりも多くの電力を消費する。この変更は、レーダーデータを使用して判断された、関与しようとする意図のみに基づいていてもよく、または、慣性データを通して判断された動きも介していてもよい。さらに、動きの判断に基づいて、電力消費コンポーネントの電力状態はさらに上昇されてもよく、または他のコンポーネントがさらに電力供給されてもよい。上述のように、この動きの判断は、関与しようとするユーザ120の意図を確認してもよく、また、関与しようとする意図を提供してもよく、もしくは、他の態様でスピードおよび/または頑強性を判断に追加して、電力、リソースなどを認証システムに追加してもよい。なお、場合によっては、ユーザが関与しようと意図していると判断されなかった場合でも、認証システムのコンポーネントは電力供給されたままである。そのような場合、手法は、関与しようとする意図が判断されたことに応答して認証プロセスを行なうように作用する。そのような場合、電力がそのプロセスのために節約されなくても、待ち時間が減少する。しかしながら、手法は、認証システムに関連付けられていないリソースの使用を控えることができ、それにより、他のやり方で電力を節約する。
認証システムの電力消費コンポーネントが変更される電力状態は、認証システムがユーザに対して認証プロセスを行なうことを可能にするのに十分であるかもしれず、または十分ではないかもしれない。場合によっては、電力消費コンポーネントの第2の電力状態は、高電力状態504-1ではない。そのような場合、第2の電力状態は、上述のような中間電力状態504-2である。この中間電力状態504-2は、場合によっては、十分にパワーアップすること(たとえば、暗闇ではなく光が十分にあるところでユーザの画像を取り込むことなど)なく、認証のためのセンサデータを依然として提供できる中間電力状態を含むカメラなどの電力消費コンポーネントの性能にとって十分である。別の例は、ディスプレイの光度をフルパワーまで電力供給することなく、パスワードのためのタッチ入力を受け入れるように電力供給され得るディスプレイ116である。別の場合は、ユーザの顔がレーダーシステム104からかなり近い範囲にある場合に、十分に正確な顔特徴を認証システム114に提供するのにフルパワーが必要とはされないレーダーシステム104を含む。
場合によっては、コンポーネントをパワーアップすることは、コンポーネントに追加の時間を与えることによってコンポーネントを準備し得る、または単に待ち時間を減少させ得る、ウォームアップシーケンスなどの中間ステップである。そのような場合、たとえば、コンポーネントが認証する準備ができる前にユーザ120がUE102を(たとえばポケットへと)動かし、それにより認証を防止することで、関与を解除しようとする意図が判断される場合、状態マネージャ112は、高電力に進まないと判断し得る。場合によっては、電力供給することは、1004で示された、ユーザ120がUE102を動かしたという判断に応答して、認証プロセスを行なうのに十分な電力までその後十分に電力供給される中間ステップである。このウォームアップシーケンスは、コンポーネントに中間電力状態504-2まで電力供給し、その後、何らかの短い期間の後で、コンポーネントは、認証プロセスで使用されるために十分に(たとえば高電力状態504-1まで)電力供給される。そのような場合、コンポーネントは、ウォームアップシーケンスに続くウォームアップ後シーケンスにいる間、高電力(またはほぼ高電力)である。いくつかの赤外線(IR)または近赤外線(NIR)センサといった、必要でない場合にオンのままにされるとかなりの電力を消費するものの、パワーアップに顕著な量の時間を必要とするコンポーネントについては、ウォームアップシーケンスが行なわれる中間電力状態は、かなりの電力を節約し、または、ユーザ体験を損なうおそれがある顕著な待ち時間を減少させることができる。
認証システムの例示的な電力消費コンポーネントは上述されており、たとえば、図1の認証システム114の顔認証ロック解除センサ212、ディスプレイ116のタッチスクリーン、レーダーシステム104、およびプロセッサ608(たとえば高電力プロセッサ608-2)が挙げられる。認証のための顔認識システムの多くの潜在的な電力消費コンポーネントの特定の詳細については、図2およびその説明を参照されたい。
1008で、認証プロセスが認証システムによって行なわれる。そうする際、認証システム114は電力消費コンポーネントを、第2の電力状態、またはより高い第3の電力状態といった、変更された電力状態で使用する。認証プロセスは、ユーザを認証するのに、または、ユーザは認証されないと判断してUE102へのアクセスが許可されるべきでないことを示すのに効果的である。述べられるように、認証プロセスは、顔認識、指紋読取り、タッチまたは音声インターフェイス(たとえば、ディスプレイ112のタッチスクリーンデータ入力コンポーネント)を通したパスワードまたは他の認証情報の入力などを介するものであり得る。認証プロセスは、ユーザまたは認証情報の識別特徴を、同等の特徴または認証情報の何らかのセキュアなストレージと比較して、ユーザのアイデンティティを、本物であり、よってUE102へのアクセスを許可されるとして判断する。これは、ディスプレイのタッチスクリーンを通して入力された6桁のパスワードを比較するのと同じくらい単純であってもよく、または、電力消費コンポーネントから受信されたセンサデータに基づいて顔特徴を判断し、判断された顔特徴を顔特徴ライブラリと比較するなどのように、より大きい計算およびシステム複雑性を必要としてもよい。必須ではないものの、この顔特徴ライブラリは、UE102からローカルに格納され、認証システム114を有するUE102による顔特徴初期化中に作成され得る。さらに、このライブラリは、UE102と一体となったセキュアチップ上への埋込みなどの形で、UE102でセキュアに格納され得る。これは、ユーザ120のプライバシーを維持することができる1つのやり方である。
この開示全体を通して、コンピューティングシステム(たとえばUE102、クライアントデバイス、サーバデバイス、コンピュータ、または他のタイプのコンピューティングシステム)が、ちょうど述べられた動作1008での顔特徴といった、ユーザに関連付けられた情報(たとえばレーダーデータ、慣性データ、および顔認識センサデータ)を分析する例が説明される。しかしながら、コンピューティングシステムは、コンピューティングシステムがコンピューティングシステムのユーザからデータを使用するための明示的な許可を受信した後でのみ、当該情報を使用するように構成され得る。たとえば、ユーザ102を認証するために、UE102が顔特徴についてのセンサデータを分析する場合、個々のユーザは、UE102のプログラムまたは特徴がデータを収集して使用できるかどうかを制御するための入力を提供する機会を与えられてもよい。個々のユーザは、センサデータを用いてどのプログラムを行なうことができるかまたはできないかに対する一定の制御を有していてもよい。加えて、収集された情報は、それが転送され、格納され、または他の態様で使用される前に個人的に識別可能な情報が除去されるように、1つ以上のやり方で前処理されてもよい。たとえば、UE102が(たとえば、別のデバイスで実行されるモデルを訓練するために)別のデバイスとセンサデータを共有する前に、UE102は、データに埋込まれたあらゆるユーザ識別情報またはデバイス識別情報が除去されることを保証するように、センサデータを前処理してもよい。このため、ユーザは、ユーザおよびユーザのデバイスについて情報が収集されるかどうか、ならびに、収集される場合にそのような情報がどのようにコンピューティングデバイスおよび/またはリモートコンピューティングシステムによって使用され得るかに対する制御を有していてもよい。
方法1000に戻って、1010で、それに代えて、またはそれに加えて、ディスプレイの電力状態は、ユーザ機器が動いたかまたは動いているという判断に応答して変更される。この変更は、ディスプレイのタッチ入力受信能力への電力を増加させること、または、単にディスプレイの視覚表現を変更することであり得る。一例は、ユーザがUE102を触ると、UE102がユーザの意図を認識し、よっておそらくユーザ120に関与する準備をしていることをユーザが見るように、光度をディスプレイ116に追加することを含む。同様に、UE102は、1002で判断された、関与しようとする意図に応答して、そうしてもよい。
場合によっては、認証プロセスは、何らかの期間または繰り返し(たとえば、何らかの予め設定された回数または期間)にわたって、成功することなく実行される。そのような場合、方法1000は、1012で示すように、1004での動きの判断に応答して、認証プロセスを再実行することによって続くことができ、または、プロセスを続けることができる。この代替案は図10において破線矢印のうちのいくつかを用いて示される。
1014で、1008でのユーザの認証プロセス(または1012での再実行)が成功したことに応答して、ユーザは認証され、UE102のアクセス状態が変更される。この変更は、UE102のアクセスを、非、低、または中間アクセス状態から高アクセス状態へ上昇させることができ、そのような場合、UE102は「ロック解除」される。しかしながら、この高アクセス状態(たとえば、図5の高アクセス状態502-1)は必須ではない。数レベルの認証は、アクセス、電力、または情報を次の認証のために確保することができる。例は、UE102のアプリケーションおよび/またはアカウント(たとえば、音楽を購入するアカウント、銀行口座など)のうちのすべてではなく一部の使用についてユーザを認証することと、それらの確保されたアクセスアカウントおよびアプリケーションのための追加の認証を要求することとを含む。たとえば、高アクセス状態502-1に加えて、状態マネージャ112は、UE102が高情報状態506-1に置かれるようにすることができる。情報状態へのこの変更の例は、ユーザ120がUE102に最後に関与したかまたは認証された場所を再生する、ウェブページ上の10ページの記事の4ページ目、もしくは、歌または映像の途中といった、最後に関与した部分に含まれる、最後に関与したアプリケーションまたはウェブページを提示することを含む。状態マネージャ112は、ユーザ120の認証に応答して、これらの状態を迅速にかつシームレスに変更してもよい。
例として、方法1000を図11に示すシナリオ1100に適用する一実現化例を考慮されたい。シナリオ1100は5つの部分を含み、各部分は前の部分に時間の経過順に続いている。シナリオ部分1100-1で示される、シナリオ1100の第1の部分では、ユーザ1102はスマートフォン1104を見たり触ったりしておらず、または他の態様でスマートフォン1104に関与していない。ここで、スマートフォン1104は、低アクセス状態502-3、低電力状態504-3、および低情報状態506-3にある(たとえば、スマートフォン1104は「オフ」されているように見えるものの、関与しようとする意図を判断するのに十分な電力を有する)と仮定する。このシナリオ部分1100-1は、図10の1002での方法の動作に先立つ状態であると仮定される。第2の部分は1100-2で示され、その間、ユーザ1102は、スマートフォン1104の方を向いてスマートフォン1104を見ているものの、スマートフォン1104を触ってはいない。この点で、手法は、動作1002で、レーダーデータに基づいて、ユーザ1102はスマートフォン1104に関与しようと意図していると判断する。この関与しようとする意図は、手を伸ばす動きを使用することなく判断されるが、代わりに、ユーザ1102がスマートフォン1104の方を見ること、および自分の体をスマートフォン1104の方に配向することに基づいている。手法はこの判断を動作1002でレーダーマネージャ106を通して行ない、それは判断を状態マネージャ112に渡す。これに続いて、状態マネージャ112は、動作1006で、認証システム114の電力消費コンポーネント(顔認識ロック解除センサ212)の電力状態を変更する。なお、これは、ユーザがスマートフォン1104に手を伸ばすかスマートフォン1104を手に取るずっと前に行なわれ、認証システム114にユーザを認証する準備を整えさせる際の待ち時間を減少させる。
また、次の0.5秒にわたって、電力消費コンポーネントがパワーアップしている間、ユーザ1102はスマートフォン1104にさらに近づき、スマートフォン1104に向かって手を伸ばす(手を伸ばすことは手1106で示される)と仮定する。これは、第3の部分1100-3で示される。この点で、認証システム114は認証プロセスを行なう(動作1008)が、認証プロセスは何回かの繰り返しおよび/またはある期間にわたって成功しないと仮定する。手法は、ユーザ1102を認証する試みを中止し、それによって電力を節約してもよい。しかしながら、ここでは、部分1100-4で示されるように、ユーザ1102はスマートフォン1104を触る。これは動作1004で、図1のIMU108によって感知された慣性データを通して、スマートフォン1104の動きであると判断される。この動きの判断は、状態マネージャ112に渡される。この動きに基づいて、状態マネージャ112は、方法1000の動作1012によって示されるように、引き続き認証システム114にユーザ1102を認証することを試みさせる。さらに、動作1010で、同様に動きに基づいて、状態マネージャ112は、スマートフォン1104のディスプレイ1108を照明する。ディスプレイ1108のこの照明またはパワーアップはシナリオ部分1100-2、1100-3、または1100-4で行なわれ得るが、ここでは、ユーザ1102がスマートフォン1104を触ったと判断することに応答して示される(1110では、時間および通知情報とともに示される)。そうすることにより、ユーザ1102は、自分が関与しようと意図していることをスマートフォン1104が認識しているというフィードバックを与えられる。
述べられるように、状態マネージャ112は、認証システム114に認証プロセスを継続させ、これらの継続される試みを通してユーザ1102を認証する。これは部分1100-5で示され、スマートフォン1104が高アクセス状態501-1、高電力状態504-1、および高情報状態506-1という異なる状態にあることをもたらし、高アクセス状態502-1は、ディスプレイ1108がロック解除アイコン1112を提示することで示される。これらの状態レベルは、状態マネージャ112によって自動的に上昇可能であり、ユーザ1102のためのシームレスなユーザ体験を提供する。
この例示的なシナリオ1100では、IMU108によって提供される慣性データは、ユーザ1102がスマートフォン1104に関与しようと意図していること、したがって自分が認証されたいことを、より高い確信レベルで、したがって追加電力を正当化して、状態マネージャ112に確認させる。これは、IMUからの慣性データおよびレーダーシステムからのレーダーデータが、迅速に、容易に、かつ減少した消費電力でユーザを認証するためにどのように使用され得るかを示す、1つの例示的なシナリオに過ぎない。
高レベル状態を低下させること
図12は、IMUおよびレーダーを介して高レベル状態を低下させるための例示的な方法1200を示す。方法1200は1組のブロックとして示され、それらは行なわれる動作を特定するが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、この文書において述べられる他の方法(たとえば、方法1000および1400)を含む、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、他の図面に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
オプションで、1202で、および動作1204または1206に先立って、非活動期間が満了したと判断される。期間の満了のみに頼る何らかの他の従来の手法とは対照的に、方法1200は、ユーザ機器のための高レベル状態を低下させるために、非活動期間を使用するかまたは非活動期間の使用を控えてもよい。この非活動タイマーは必須ではないものの、タイマーの使用は、短いタイマーであっても、場合によっては電力を節約する。より詳細には、ユーザ機器への最後のユーザアクションが受信されると、たとえば、タッチスクリーンまたはボタンへの最後のタッチ、最後の音声指令、または、最後のジェスチャー入力がユーザ機器によって受信されると、非活動タイマーが始動する。なお、いくつかの従来の手法はタイマーのみを使用し、このため、従来のタイマーはしばしば数分(たとえば1分、3分、5分、または10分)続くが、方法1200は、0.5秒、1秒、3秒、5秒、10秒、または20秒といった比較的短い期間を使用可能である。そうすることにより、ユーザ機器が情報を公開し、不適切なアクセスを利用可能にするといった可能性は非常に低く、一方、短い非活動期間の使用は、非活動期間の間、1204および/または1206の動作を行なうことを控えることによって、何らかの量の電力を節約するように動作することができる。
1204で、ユーザがユーザ機器と相互作用しているかまたは最近相互作用したユーザ機器の高レベル状態中に、動きが判断される。動きマネージャ110はこの動きを、UE102と一体となっているIMU108から受信された慣性データに基づいて判断する。破線矢印を用いて示されるように、この動作はオプションで、動作1206および/または1202(図示せず)に応答してもよい。この判断された動きは、上に述べられたさまざまな動きのうちの1つ以上であってもよく、そのような動きは、ユーザ120がUE102を手に取っていること、UE102とともに歩いていること、UE102を置いていること、ポケットまたは筐体に入れていること、もしくは、単にUE102の近くまたはUE102を触っていることを示す。場合によっては、動きマネージャ110は、動きがUE102の状態を変更するのに十分である、または十分ではないと判断し、よって、判断を状態マネージャ112に渡す。例は、しきい値動きを上回らないような上述のものと、周囲振動によって生じるものと、動いている間、進行中の動きへの十分な変化ではないものとを含む。このため、動きマネージャ110は、ユーザ120がUE102とともに歩いているためにUE102は動いていると判断し得るが、その動きは、ユーザ120がUE102から関与を解除し得る可能性を示すのに十分な変化ではないと判断され得る。これを見る別のやり方は、動きは、UE102の現在の動きだけではなく、変化に基づき得るということである。例示的な変化は、動いていて次に動かないこと、たとえば、ユーザがUE102とともに歩き、それをテーブルの上に置くことを含む。IMU108からの慣性データは、ユーザ120がUE102をテーブルの上に置くことを捕らえないかもしれないが、直前に動き(ユーザ120がUE102とともに歩くこと)があった場合に慣性データが動きをほとんどまたはまったく示さないという判断は依然として、動作1204で、この直前の動きに基づいて動きとして判断されてもよい。
より詳細には、手法は、ユーザ機器の状態をユーザの関与に合わせることができる。このため、場合によっては、ユーザがユーザ機器に非常に関与していることに起因して、ユーザ機器は高レベル状態にある。たとえば、方法1200は、動作1204または1206に先立って、ユーザはユーザ機器と相互作用していると判断してもよい。ユーザの関与のこの判断は、関与しようとするユーザの意図を示す先のレーダーデータに基づいていてもよく、ユーザからの音声またはタッチ入力、音声またはタッチセンサを通してユーザから受信された指令または入力、成功した認証プロセスなどに基づいていてもよい。
1206で、関与を解除しようとする意図が、レーダーデータに基づいて、およびユーザ機器によって判断される。レーダーマネージャ106は、レーダーシステム104からレーダーデータを受信し、このレーダーデータを使用して、ユーザがUE102から関与を解除しようと意図しているかどうかを判断する。関与を解除しようとするこの意図は、ユーザ120がUE102から手を引っ込めること、UE102に対する顔配向変化、ユーザ120がUE102から顔を背けること、または自分の背中をUE102に配向することなどといった、上に述べられたさまざまなタイプを含む。
破線矢印を用いて示されるように、この動作1206はオプションで、動作1204(および/または1202、図示せず)に応答してもよい。これらの場合、状態マネージャ112またはレーダーマネージャ106は、動きが判断されるまで、関与を解除しようとするユーザ120の意図を判断することを控えることによって、および1204での動きの判断については逆を行なうことによって電力を節約するように作用する。そうすることにより、電力を節約することができる。このため、電力管理モジュール620は、1204で動きが判断されるまでレーダーシステム104を減少した電力に保つように、手法によって指図され得る。動きがいったん判断されると、状態マネージャ112は、ユーザ120が関与を解除しようとする意図を示す態様で行動しているかどうかを判断するのに備えて、電力管理モジュール620にレーダーシステム104をパワーアップさせる。
1208で、動きおよび/または関与を解除しようとする意図の判断に応答して、ユーザ機器の高レベル状態は、中間レベルまたは低レベル状態へ低下される。より詳細には、アクセス、電力、または情報に関わる1つまたは複数の状態、たとえば、図5に示されるもの(高アクセス状態502-1、高電力状態504-1、または高情報状態506-1)であり得る、例示的な高レベル状態1208-1を参照されたい。状態マネージャ112は、動き、または関与を解除しようとする意図、またはそれら双方の判断に応答して、UE102の状態のうちの1つ以上を低下させるよう判断する。これは、図12において、高レベル1208-1から中間レベル1208-2または低レベル1208-3への低下を示す矢印を用いて示されている。これらは、電力、アクセス、および情報のさまざまな粒度のうちの2つに過ぎない。図5に示すように、中間レベル1208-2および低レベル1208-3は、各々上述されている、中間アクセス状態502-2、中間電力状態504-2、および中間情報状態506-2を含む。低レベル1208-3は、低アクセス状態502-3、低電力状態504-3、および低情報状態506-3という3つの低状態で例示される。これらの状態は、上に詳細に説明されている。なお、これらの状態のうちのいずれか1つ、2つ、または3つすべてが、動作1208で、状態マネージャ112によって、各々同じレベルまたは異なるレベルへ低下され得る。このため、状態マネージャ112は、高アクセス状態502-1を中間状態または低状態へ低下させ、電力状態および情報状態を高レベルまたは混合されたレベルに保ってもよい。同様に、状態マネージャ112は、UE102を高アクセス状態502-1(たとえば、「ロック解除」された状態)に保ちつつ、電力状態504を低電力状態504-3へ低下させてもよい。
例として、図13に示すシナリオ1300への方法1200の適用を考慮されたい。シナリオ1300は3つの部分を含み、各部分は前の部分に時間の経過順に続いている。シナリオ1300の第1の部分に先立って、ユーザ1302が積極的にスマートフォン1304に関与し、スマートフォン1304は高レベル状態、すなわち、高電力状態、高アクセス状態、および高情報状態にあると仮定する。シナリオ部分1300-1で示される第1の部分で、ユーザ1302はテーブルまで歩き、スマートフォン1304をテーブルの上に置く。動作1204で、IMU108は、スマートフォン1304がテーブルの上に接触することについての慣性データ、または、テーブルの上に置かれる前に(ユーザ1302がスマートフォン1304を持って歩いていたことに基づく)動きを慣性データが示していた場合の慣性データの欠如を受信する。これらの慣性データのいずれかまたは双方に基づいて、動きマネージャ110は、スマートフォン1304についての動きを判断し、この判断をレーダーマネージャ106および/または状態マネージャ112に渡す。
レーダーマネージャ106がレーダー場118(視覚的簡潔さのために図示せず、たとえば図1を参照されたい)を、動きデータに直ちに応答して提供し、またはすでに提供しており、よって、ユーザ1302の体の位置などを示すレーダーデータを受信すると仮定する。このレーダーデータに基づいて、レーダーマネージャ106は、シナリオ部分1300-1で、第1の繰り返し(および、おそらく複数の他の繰り返し)にわたって、体、腕、および手の配置についての動作1206で、ユーザ1302が関与を解除しようと意図していないと判断する。これは、ユーザ1302がスマートフォン1304に向かう身体配向を有し、ユーザの手および腕がスマートフォン1304に向かって配向されていることに起因する。このため、高情報状態1306-1は変更されない。
しかしながら、シナリオ部分1300-2では、およそ2秒後に、ユーザ1302は自分のコーヒーカップを手に取り、スマートフォン1304に自分の背中を向けながら歩き去り始めると仮定する。この点で、レーダーマネージャ106は、ユーザ1302の身体配向が部分的にスマートフォン1304から遠い方を向いていることと、ユーザ1302の腕および手がスマートフォン1304ではなくコーヒーカップに向かって配向されていることとに基づいて、ユーザ1302がスマートフォン1304から関与を解除しようと意図していると判断する。レーダーマネージャ106は、この判断を状態マネージャ112に渡す。
動作1208で、動きの判断と関与を解除しようとする意図の判断とを受信することに応答して、状態マネージャ112は、スマートフォン1304の情報状態を、シナリオ部分1300-1で示された高情報状態1306-1から中間情報状態1306-2へ低下させる。これらの例示的な情報状態は、シナリオ部分1300-1で表示された情報が、2つのテキストメッセージと時刻とからなるコンテンツを示すことで示される。ユーザ1302が自分の体の向きを変えてコーヒーカップを手に取るやいなや、情報状態は、時刻とテキストメッセージについての減少した情報(送信者の名前は示されるが、文脈は示されない)とで示される中間情報状態1306-2へ低下される。この中間の情報量は、ユーザ1302にとって有用であり得る。なぜなら、ユーザは、関与についての自分の考えを変えるかもしれず、または、別の人からのテキストといった新たな通知が到着したかどうかを見るためにスマートフォン1304を再び見たくなるかもしれないためである。
中間情報状態1306-2を示すことに加えて、またはその代わりに、および動作1208の一部として、状態マネージャ112は、直ちに、またはまず中間状態になった後で、低レベルに進んでもよい。ここで、状態マネージャ112は、ユーザ1302が関与を解除しようと意図していること、またはそのより高い確信レベル(たとえば、ここでは、ユーザ1302が現在数メートル離れており、自分の背中を完全にスマートフォン1304に向けているため、高い確信度で示されている)を示す、レーダーマネージャ106による追加の判断に応答して、情報状態をさらに、現在の時刻のみを提示するシナリオ部分1300-3として示される低情報状態1306-3へ低下させると仮定する。
この例は情報状態への変更を示しているが、アクセスおよび電力も同様にまたは代わりに変更されてもよい。これは、高レベルのアクセス(たとえば、図5の高レベルアクセス502-1)を示す、シナリオ部分1300-1で示されるロック解除アイコン1310を用いて部分的に示される。シナリオ部分1300-2で、状態マネージャ112が動きのデータと関与を解除しようとする意図とを受信した後で、状態マネージャ112は、アクセスを低レベルへ低下させ、それは、ロックアイコン1312を用いてユーザに示される。さらに、電力状態は、シナリオ部分1300-2および/または1300-3でスマートフォン1304のディスプレイの光度を減少させること(図示せず)などによって変更され得る。
認証された状態を維持すること
図14は、認証された状態を維持するための例示的な方法1400を示す。方法1400は1組のブロックとして示され、それらは行なわれる動作を特定するが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、この文書において述べられる他の方法(たとえば、方法1000および1200)を含む、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、他の図面に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
方法1400を説明することに先立って、上述の方法のうちのいずれも、全体的にまたは部分的に方法1400と組合され得ることに留意されたい。たとえば、図10の方法1000の実行を考慮されたい。この方法1000は、ユーザ機器のユーザの認証をもたらす認証管理の一例を説明する。この認証に応答して、ユーザ機器は認証された状態になる。この状態は、より詳細に上述されている。このため、方法1000(または、ユーザの認証の何らかの他の態様)は、方法1400に先立って行なわれる。
1402で、ユーザ機器の認証された状態中、ユーザ機器のユーザによる潜在的な関与解除が判断される。ユーザによる潜在的な関与解除のこの判断は、上述のような、関与を解除しようとするユーザの意図を判断することと、以下に述べる他の判断とを含み得る。また、上述のように、認証された状態は、ユーザ機器のデータ、アプリケーション、機能、アカウント、またはコンポーネントのうちの1つ以上の、ユーザによるアクセスを許可する。認証された状態の例は、図5に上述された高アクセス状態502-1と中間アクセス状態502-2とを含む。これらのアクセス状態はいずれも、(ユーザ嗜好またはオペレーティングシステムデフォルト設定にしばしば基づいて)認証された状態にある場合にUE102によって許可され得るが、認証された状態は、ユーザの以前の認証を仮定する。しかしながら、ユーザが選択した嗜好または設定は、認証なしでUE102の高アクセスまたは中間アクセスを許可することができる。このため、認証された状態は、上述された高アクセス状態および中間アクセス状態によって許可されたアクセスを含み得るものの、高アクセスおよび中間アクセスは必ずしも、認証された状態ではない。
図14に示すように、潜在的な関与解除の判断はオプションで、動作1404または動作1406、ならびに、方法1200の動作1206で関与を解除しようとする意図を判断することを通すといった、ここに説明される他の態様に応答して(または、当該動作や態様を行なうことを通して)行なわれ得る。1404で、非活動期間の満了が判断される。上述のように、この非活動期間は、最後のユーザアクションが受信され、ユーザ機器とのアクティブな関与が終わった場合(または最後に受信された場合)、もしくは、関与しようとする最後の意図が判断された場合に始動し得る。たとえば、ユーザが最後にタッチ感知型ディスプレイまたはボタンに触れた場合、最後に受信された音声指令が話された場合、または、最後に判断されたタッチ非依存ジェスチャー(たとえば、上述のレーダーシステム104を使用して判断されたジェスチャー)が行なわれた場合に、非活動タイマー(たとえば期間)が始まる。
1406で、ユーザ機器と一体となっている慣性計測ユニット(IMU)の慣性データに基づいて、ユーザ機器の動きが判断される。例示的な動きおよび慣性データは、図1のIMU108から受信された慣性データなどのように上述されている。このため、動きの判断は、ユーザがUE102をロッカー、バッグ、またはポケットに入れる(ただし、バッグまたはポケットに入れることは、以下に述べられる受動的関与であると後で判断される場合がある)ことなどによって潜在的に関与解除していると方法が判断し得る1つのやり方である。
1408で、レーダーデータに基づいて、ユーザ機器へのユーザによる受動的関与が判断される。受動的関与のこの判断は、1402での潜在的な関与解除の判断に応答していてもよく(破線矢印を用いて示される)、もしくは、それは、その判断から独立していても、またはその判断と一致していてもよい。潜在的な関与解除の判断に応答して動作1408を行なうことは、場合によっては、電力を節約し、または待ち時間を減少させ得る。たとえば、方法1400は、潜在的な関与解除の判断に応答して、レーダーシステム104のコンポーネント(図6-1および図6-2も参照)をパワーアップしてもよい。これは、上述のように電力を節約することができ、または、ユーザがレーダーシステム104に受動的に関与しているかどうかをレーダーシステム104が判断する準備をするための追加の時間を与えることができる。
図1の状況では、レーダーマネージャ106は、ユーザ120がUE102に受動的に関与していると判断する。この受動的関与は、排他的であるかまたは互いに重複し得る複数のやり方で、レーダーマネージャ106によって判断され得る。たとえば、レーダーマネージャ106は、ユーザ120の手がユーザ機器102をユーザ機器102のディスプレイ116が維持される配向で保持していることを示すレーダーデータに基づいて、ユーザが受動的に関与していると判断することができる。このため、ユーザ120がUE102を安定して(もしくは、コンテンツを見るかまたは他人にコンテンツを見せるのに十分安定して)保持している場合、ユーザ120は受動的に関与している。受動的関与を判断する他の例は上述されており、ユーザ120がUE102を見ること、または自分の体をUE102の方に配向することを含む。
さらに、レーダーマネージャ106は、ユーザ120がUE102から2メートル以内にいることなどによってユーザ120が存在することを示すレーダーデータに基づいて、受動的関与を判断することができる。1.5メートル、1メートル、さらには0.5メートルといった他の距離も、同様にまたは代わりに使用され得る。実際には、レーダーマネージャ106は、ユーザ120が概してUE102に手の届く範囲内にいることによって、ユーザ120は受動的に関与していると判断することができる。レーダーマネージャ106は、ユーザ120が受動的に関与していることを示すことによって明示的に判断してもよく、または単に、UE102からの距離を示す情報を状態マネージャ112に渡してもよい。状態マネージャ112は次に、ユーザ120の近接、および、場合によっては、他人(または他人がいないこと)、ユーザ120が車両(自動車、バス、列車)内にいるかどうか、机に向かっているかなどといった状況に基づいて、受動的関与を判断する。たとえば、自分の家で座っているユーザは、混み合ったコーヒーショップまたは列車で座っているユーザに比べ、より大きい許可された距離を有していてもよい。
1410で、ユーザ機器へのユーザによる受動的関与の判断に応答して、認証された状態が維持される。認証された状態のこの維持は、別の潜在的な関与解除が判断されるまで、またはある期間にわたって継続可能であり、その後、方法1400を再び行なうことができる。認証された状態の一例は、図5の高アクセス状態502-1である。多くの場合、この認証された状態は、UE102のためのロック解除状態であるが、いくつかの他の場合、認証された状態は、上述の中間アクセス状態502-2などのように、UE102へのアクセスのすべてはないものの一部を許可する。
UE102のために認証された状態を維持することは、他の状態が維持されることを必要とはしない。たとえば、ユーザ120がUE102から2メートル以内にいるものの、UE102の方を見ているかまたはUE102の方に配向されているかどうかが分からない場合、状態マネージャ112は、UE102の電力状態または情報状態を、たとえば図5に述べられる高電力状態504-1および高情報状態506-1から中間または低電力状態または情報状態へ低下させることができる。しかしながら、受動的関与が、ユーザがUE102を見ていることを含む場合、電力状態または情報状態も、ディスプレイ116を通してコンテンツをユーザ120に引き続き提示するなどのために維持され得る。
オプションで、方法1400は動作1412に進んでもよく、そこでは、非ユーザの存在または関与しようとする意図が、レーダーデータに基づいて判断される。このレーダーデータは、受動的関与が基づいていたレーダーデータと同じレーダーデータであってもよく、または、受動的関与が基づいていたレーダーデータよりも数秒または数分後に受信されたレーダーシステム104からのレーダーデータといった、その後受信したレーダーデータであってもよい。このため、1412で、レーダーマネージャ106は、非ユーザが存在するかまたはUE102に関与しようと意図していると判断する。したがって、非ユーザがUE102へ手を伸ばす場合、またはUE102のディスプレイ116を見る場合、レーダーマネージャ106はこの存在または意図を判断し、それを状態マネージャ112に渡し得る。
1414で、非ユーザが存在するかまたはユーザ機器に関与しようと意図しているとの判断に応答して、認証された状態の維持が中止される。このため、非ユーザがUE102に歩み寄り、手を伸ばし、またはUE102のディスプレイ116を見る場合、状態マネージャ112は、認証された状態を維持することを中止する(または、UE102をアクティブに認証解除する)。この中止とともに、状態マネージャ112はまた、非ユーザに提示される情報を減少させるかまたは排除するのに効果的な情報状態といった、他の状態を低下させてもよい。たとえば、認証されたユーザが地下鉄の列車でプライベートな電子メールを読んでいると仮定する。ユーザの後ろに座っている人が、おそらくそのプライベートな電子メールを読むためにディスプレイを見ると、状態マネージャ112はUE102をロックし、プライベートな電子メールの表示を中止することができる。これは、迅速にかつシームレスに実行可能であり、ユーザのプライバシーをさらに向上させる。
1416で、オプションで、認証された状態を維持することを中止した後で、方法は、非ユーザがもはや存在していないかまたはもはや関与しようと意図していないとの判断に応答して、認証された状態に戻され得る。上述の例を続けると、地下鉄の列車の非ユーザがUE102のディスプレイ116から目をそらすと、状態マネージャ112は、認証プロセスを通して、または単に、再認証することなく認証状態に切り替えることによって、ユーザ120を再認証してもよい。このため、ユーザ120は、認証解除を引き起こした条件が中止され次第、簡単に以前の状態に戻ることができる。ここに説明されるシステムおよびプロセスなどのいくつかの認証プロセスは迅速でかつ電力効率がよいものの、認証プロセスを行なわないことは、より迅速で、より電力効率がよくなり得る。認証された状態に戻り次第、状態マネージャ112は情報状態を、ユーザ120に最後に提示されたコンテンツと整合するコンテンツで、以前のレベルに戻すことができる。この例では、非ユーザが目をそらすと、ディスプレイ116はプライベートな電子メールを、UE102によってユーザ120に最後に提示されたのと同じ場所で提示する。そうすることにより、認証のシームレスな管理および向上した情報プライバシーがユーザに提供される。なお、認証解除するためのユーザ選択といった、ユーザ120による選択は、手法の動作を覆すことができる。場合によっては、ユーザ120は単にUE102をオフにし、それは、ここに説明される方法によって許可される。
図15にシナリオ1500を通して示される別の例を考慮されたい。シナリオ1500は、4つの部分を含む。第1の部分1500-1では、ユーザ1502が、認証情報または顔特徴分析などを通してスマートフォン1504に対して認証され、よって、スマートフォン1504は認証された状態1506にあると仮定する。この認証された状態1506は、ユーザ1502がスマートフォン1504にアクセスすることを可能にし、それは、ユーザ1502が、火山噴火についてのテレビ番組を見ることによってスマートフォン1504のコンテンツにアクセスしていることを通して示される。
シナリオ1500は、2つの異なる経路に沿って分岐して示される。一方の経路では、ユーザ120がスマートフォン1504に触ることまたは入力を提供することを中止する場合、ここでは、ユーザがリラックスしてテレビ番組を見る場合に、非活動タイマーが始動する。別の場合、非活動タイマーは始動してもしなくてもよく、その満了がなくても、潜在的な関与解除が判断されるであろう。このため、シナリオ部分1500-2では、非活動の3分後に、非活動タイマーは満了する。図14に戻って、動作1402は、動作1404で非活動期間が満了したことにより、ユーザによる潜在的な関与解除が生じたと判断する。シナリオ部分1500-3で示される第2の経路については、動作1402は、動作1406を行なうことを通して慣性データに基づいてスマートフォン1504の動きが生じたと判断することにより、ユーザによる潜在的な関与解除が生じたと判断する。この動きの原因は、ユーザ1502が自分の足を、スマートフォン1504が載っているテーブルの縁に置くことである。
レーダーマネージャ106は、潜在的な関与解除のこれらの判断のうちのいずれかに応答して、レーダーデータに基づいて、ユーザ1502がスマートフォン1504に受動的に関与していると判断する。この動作は、1408で行なわれる。ここで、ユーザ1502の存在、またはユーザ1502がスマートフォン1504を見ていることが判断されると仮定する。これらはいずれも、ユーザ1502が受動的に関与していることを示す。
これに応答して、動作1410で、状態マネージャ112は、認証された状態を維持する。これはすべて、シームレスに、かつ、それが行なわれたことにユーザ1502が気付くことなく、行なわれ得る。シナリオ部分1500-4に示されるように、スマートフォン1504は単に、いずれかの経路を通してテレビ番組を引き続き提示する。
シナリオ1500に続き得るかまたは代替的な独立したシナリオであり得る、図16の別のシナリオ1600を考慮されたい。シナリオ1600は、3つのシナリオ部分を含む。第1のシナリオ部分1600-1では、ユーザ1502は、図15に示されたものと同様に、ここではスマートフォン1504のコンテンツ1602でマークされた火山についてのテレビ番組を見ている。プログラムのこの提示中、スマートフォン1504は、図15で述べられた認証された状態1506といった、認証された状態にある。
しかしながら、シナリオ部分1600-2では、非ユーザ1604がユーザ1502ととも長椅子に座る。この非ユーザ1604はユーザ1502の同僚であるため、ユーザ1502は非ユーザ1604に顔を向けて話しかけ始める。上述のように、顔を向けること、話すこと、またはそれら双方といった、ユーザ1502のこれらのアクションは、潜在的な関与解除と考えられ得る。ユーザ1502による潜在的な関与解除と考えられる場合、状態マネージャ112は、たとえば図5および図12で述べられたようにアクセス状態または情報状態を低下させる(たとえば、方法1200の動作1206および1208)ように、スマートフォン1504の状態を低下させる。
しかしながら、レーダーマネージャ106は、方法1400の動作1412を通して、およびレーダーデータに基づいて、非ユーザ1604の存在を判断すると仮定する。非ユーザ1604のこの存在に基づいて、状態マネージャ112は、状態マネージャ112が以前に(たとえば、図15に示される動作1410を通して)スマートフォン1504の認証された状態を維持するように作用した後で、認証された状態1506を維持することを中止する。このため、状態マネージャ112は、スマートフォン1504を、シナリオ部分1600-2の拡大図で示される非認証状態1604へ低下させ得る。この変化は、ロックアイコン1606を通して、ならびに、コンテンツ1602の提示を中止することによって、ユーザ1502に示される。
シナリオ部分1600-3で、非ユーザ1604は立ち去り、ユーザ1502は再びスマートフォン1504を見る。レーダーマネージャ106は、非ユーザ1604はもはや存在しないと判断し、この判断を状態マネージャ112に示し、状態マネージャ112は次に、スマートフォン1504を認証された状態1506に戻す。なお、状態マネージャ112はまた、ユーザ1502がスマートフォン1504に関与しようと意図しているという判断を必要としてもよく、または単に、非ユーザ1604がスマートフォン1504の元を去ったことに基づいて、認証された状態に戻ってもよい。また、この文書で説明される手法は、ユーザが作業を中断した場所にユーザをシームレスに戻すことができ、それにより、優れたユーザ体験を提供する。これは図16に、状態マネージャ112がスマートフォン1504を、同じテレビ番組の、ユーザ1502に最後に提示されたのと同じまたはほぼ同じ点に戻すことで示される。いくつかの実施形態については、手法は、ユーザが、セットアップ画面または同様のデバイス構成画面において、ステップ1416で非ユーザがもはや存在していないかまたは関与しようと意図していないとの判断に応答してスマートフォン1504が認証された状態に戻るかどうか、それとも、認証システムの電力消費コンポーネントを使用するより厳格な認証プロセス(たとえば、前述のステップ1006)が実行されるまでスマートフォン1504が非認証状態にとどまるかどうかを指図できるようにする。言い換えれば、手法は、非ユーザの痕跡がいったん存在すると、痕跡がもはやそこになくてもスマートフォン1504を認証解除されたままにするユーザ選択設定を、セットアップ構成または同様のデバイス構成を通して提供することができる。

以下のセクションでは、例が提供される。
例1
方法であって、レーダーデータに基づいて、およびユーザ機器によって、関与しようとする意図を判断するステップを含み、関与しようとする意図は、ユーザがユーザ機器に関与しようと意図していることを示し、方法はさらに、関与しようとする意図の判断に応答して、認証システムの電力消費コンポーネントの電力状態を第1の電力状態から第2の電力状態へ変更するステップを含み、第2の電力状態は第1の電力状態よりも多くの電力を消費し、方法はさらに、認証システムによって、および、電力消費コンポーネントを第2の電力状態またはより高い第3の電力状態で使用して、認証プロセスを行なうステップを含み、認証プロセスは、ユーザを認証するのに効果的である、方法。
例2
関与しようとする意図は、ユーザがユーザ機器に向かって手を伸ばしていること、ユーザ機器を見ていること、および/または、ユーザ機器の方に身を乗り出していることを示すレーダーデータに基づいて判断される、例1に記載の方法。
例3
ユーザ機器と一体となっている慣性計測ユニットを通して受信された動きデータに基づいて、ユーザ機器の動きを判断するステップと、ユーザ機器の動きの判断に応答して、ディスプレイの電力状態を、ディスプレイの視覚表現を変更するように、および/または、ディスプレイのタッチ入力受信能力を変更するように効果的に変更するステップとをさらに含む、例1および2のいずれか1つに記載の方法。
例4
認証プロセスは、第1の期間または予め設定された回数の繰り返しにわたって、ユーザの認証なしで行なわれ、方法はさらに、ユーザ機器と一体となっている慣性計測ユニットを通して受信された動きデータに基づいてユーザ機器の動きを判断することに応答して、第1の期間または予め設定された回数の繰り返しの後で認証プロセスを継続するステップをさらに含む、例1および2のいずれか1つに記載の方法。
例5
認証システムは顔認証センサを含み、認証システムの電力消費コンポーネントは顔認証センサである、例1~4のいずれか1つに記載の方法。
例6
顔認証センサは、カメラと、少なくとも1つの赤外線または近赤外線放射器、プロジェクタ、またはセンサを含む、例5に記載の方法。
例7
認証プロセスを行なうステップは、周囲光が低いかまたはない状態で、カメラによって感知された反射信号を使用して、ユーザの顔特徴を判断するステップを含み、反射信号は、赤外線または近赤外線投光放射器によって提供される赤外線または近赤外線信号の赤外線または近赤外線反射を含む、例6に記載の方法。
例8
認証プロセスを行なうステップは、カメラによって感知された反射信号を使用して、ユーザの顔特徴の深度マップを定めるステップを含み、反射信号は、赤外線または近赤外線プロジェクタによって提供される赤外線または近赤外線信号の赤外線または近赤外線反射を含む、例6に記載の方法。
例9
顔認証センサはレーダーシステムを含み、レーダーシステムからレーダーデータが受信され、認証システムの電力消費コンポーネントはレーダーシステムである、例5~8に記載の方法。
例10
認証システムはタッチスクリーンデータ入力コンポーネントを含み、認証システムの電力消費コンポーネントはタッチスクリーンデータ入力コンポーネントである、例1~9のいずれか1つに記載の方法。
例11
レーダーデータに基づいた、関与しようとする意図の判断に応答して、ユーザ機器のディスプレイの電力を第1の電力状態から第2の電力状態へ変更するステップをさらに含み、第2の電力状態は第1の電力状態よりも多くの電力を消費する、例1~10のいずれか1つに記載の方法。
例12
認証システムの電力消費コンポーネントの第2の電力状態は、認証システムがユーザに対して認証プロセスを行なうことを可能にするには不十分であり、方法はさらに、ユーザ機器がユーザによって動かされるかまたは動かされているという、慣性データに基づいた、およびユーザ機器による判断に応答して、認証システムの電力消費コンポーネントの電力状態を第2の電力から第3の電力状態へ変更するステップをさらに含み、第3の電力状態は、認証システムが認証プロセスを行なうことを可能にするのに十分である、例1~11のいずれか1つに記載の方法。
例13
認証システムの電力消費コンポーネントの第2の電力状態は、電力消費コンポーネントのためのウォームアップシーケンスを含み、ウォームアップシーケンスは、認証プロセスを行なうために電力消費コンポーネントへの電力供給が不十分である期間を含み、第3の電力状態は、認証システムがユーザに対して認証プロセスを行なうことを可能にするために電力消費コンポーネントが十分に電力供給されるウォームアップ後シーケンスを含み、認証プロセスは、電力消費コンポーネントをより高い第3の電力状態で使用して行なわれる、例1~11のいずれか1つに記載の方法。
例14
認証システムによって行なわれる認証プロセスは、電力消費コンポーネントから受信されたセンサデータに基づいて顔特徴を判断し、判断された顔特徴をユーザ機器からローカルに格納された顔特徴ライブラリと比較し、顔特徴ライブラリは、認証システムを有するユーザ機器による顔特徴初期化中に作成される、例1~11のいずれか1つに記載の方法。
例15
レーダー場を提供するように構成されたレーダーシステムと、認証システムと、レーダーシステムおよび認証システムと結合され、例1~14のいずれか1つに記載の方法を行なうように構成されたプロセッサおよびメモリシステムとを含む、装置。
例16
例1~14のいずれか1つに記載の方法を行なうための手段を含む、装置。
結論
IMUおよびレーダーを介した認証管理のための手法および当該認証管理を可能にする装置の実現化例が、特徴および/または方法に特有の文言で説明されてきたが、請求項の主題は説明された特定の特徴または方法に必ずしも限定されないということが理解されるべきである。むしろ、特定の特徴および方法は、IMUおよびレーダーを介した認証管理を可能にする例示的な実現化例として開示されている。

Claims (15)

  1. 方法であって、
    レーダーデータに基づいて、ユーザ機器が、関与しようとする意図を判断するステップを含み、前記関与しようとする意図は、ユーザが前記ユーザ機器に関与しようと意図していることを示し、前記方法はさらに、
    前記関与しようとする意図の判断に応答して、認証システムの電力消費コンポーネントの電力状態を第1の電力状態から第2の電力状態へ変更するステップを含み、前記第2の電力状態は前記第1の電力状態よりも多くの電力を消費し、前記第2の電力状態は、前記認証システムが認証プロセスを行なうことを可能にするには不十分であり、前記方法はさらに、
    慣性データに基づいて、前記ユーザ機器が動かされるかまたは動かされているということを前記ユーザ機器が判断したことに応答して、前記認証システムの前記電力消費コンポーネントの前記電力状態を前記第2の電力状態から第3の電力状態へ変更するステップをさらに含み、前記第3の電力状態は、前記認証システムが前記認証プロセスを行なうことを可能にするのに十分であり、
    前記認証システムによって、および、前記電力消費コンポーネントを前記第3の電力状態で使用して、前記認証プロセスを行なうステップを含み、前記認証プロセスは、前記ユーザを認証するのに効果的である、方法。
  2. 前記関与しようとする意図は、前記ユーザが前記ユーザ機器に向かって手を伸ばしていること、前記ユーザ機器を見ていること、および/または、前記ユーザ機器の方に身を乗り出していることを示す前記レーダーデータに基づいて判断される、請求項1に記載の方法。
  3. 記ユーザ機器が動かされるかまたは動かされているということの判断に応答して、ディスプレイの電力状態を、前記ディスプレイの視覚表現を変更するように、および/または、前記ディスプレイのタッチ入力受信能力を変更するように効果的に変更するステップとをさらに含む、請求項1および2のいずれか1項に記載の方法。
  4. 前記認証プロセスは、第1の期間または予め設定された回数の繰り返しにわたって、前記ユーザの認証の成功なしで行なわれ、前記方法はさらに、前記ユーザ機器が動かされるかまたは動かされているということを判断することに応答して、前記第1の期間または前記予め設定された回数の繰り返しの後で前記認証プロセスを継続するステップをさらに含む、請求項1および2のいずれか1項に記載の方法。
  5. 前記認証システムは顔認証センサを含み、前記認証システムの前記電力消費コンポーネントは前記顔認証センサである、請求項1~4のいずれか1項に記載の方法。
  6. 前記顔認証センサは、カメラと、少なくとも1つの赤外線または近赤外線放射器、プロジェクタ、またはセンサを含む、請求項5に記載の方法。
  7. 前記認証プロセスを行なうステップは、周囲光が低いかまたはない状態で、前記カメラによって感知された反射信号を使用して、前記ユーザの顔特徴を判断するステップを含み、前記反射信号は、前記赤外線または近赤外線放射器によって提供される赤外線または近赤外線信号の赤外線または近赤外線反射を含む、請求項6に記載の方法。
  8. 前記認証プロセスを行なうステップは、前記カメラによって感知された反射信号を使用して、前記ユーザの顔特徴の深度マップを定めるステップを含み、前記反射信号は、前記赤外線または近赤外線プロジェクタによって提供される赤外線または近赤外線信号の赤外線または近赤外線反射を含む、請求項6に記載の方法。
  9. 前記顔認証センサはレーダーシステムを含み、前記レーダーシステムから前記レーダーデータが受信され、前記認証システムの前記電力消費コンポーネントは前記レーダーシステムである、請求項5~8のいずれか1項に記載の方法。
  10. 前記認証システムはタッチスクリーンデータ入力コンポーネントを含み、前記認証システムの前記電力消費コンポーネントは前記タッチスクリーンデータ入力コンポーネントである、請求項1~9のいずれか1項に記載の方法。
  11. 前記レーダーデータに基づいた、前記関与しようとする意図の判断に応答して、前記ユーザ機器のディスプレイの電力を第4の電力状態から第5の電力状態へ変更するステップをさらに含み、前記第5の電力状態は前記第4の電力状態よりも多くの電力を消費する、請求項1~10のいずれか1項に記載の方法。
  12. 前記認証システムの前記電力消費コンポーネントの前記第2の電力状態は、前記電力消費コンポーネントのためのウォームアップシーケンスを含み、前記ウォームアップシーケンスは、前記認証プロセスを行なうために前記電力消費コンポーネントへの電力供給が不十分である期間を含み、前記第3の電力状態は、前記認証システムが前記ユーザに対して認証プロセスを行なうことを可能にするために前記電力消費コンポーネントが十分に電力供給されるウォームアップ後シーケンスを含み、前記認証プロセスは、前記電力消費コンポーネントをより高い前記第3の電力状態で使用して行なわれる、請求項1~11のいずれか1項に記載の方法。
  13. 前記認証システムによって行なわれる前記認証プロセスは、前記電力消費コンポーネントから受信されたセンサデータに基づいて顔特徴を判断し、判断された前記顔特徴を前記ユーザ機器からローカルに格納された顔特徴ライブラリと比較する、請求項1~11のいずれか1項に記載の方法。
  14. レーダー場を提供するように構成されたレーダーシステムと、
    認証システムと、
    前記レーダーシステムおよび前記認証システムと結合され、請求項1~13のいずれか1項に記載の方法を行なうように構成されたプロセッサおよびメモリシステムとを含む、装置。
  15. 請求項1~13のいずれか1項に記載の方法をコンピュータに実行させる、プログラム。
JP2021569190A 2019-07-26 2019-08-30 Imuおよびレーダーを介した認証管理 Active JP7316383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023116089A JP2023156296A (ja) 2019-07-26 2023-07-14 Imuおよびレーダーを介した認証管理

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962879361P 2019-07-26 2019-07-26
US62/879,361 2019-07-26
PCT/US2019/049216 WO2021021220A1 (en) 2019-07-26 2019-08-30 Authentication management through imu and radar

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023116089A Division JP2023156296A (ja) 2019-07-26 2023-07-14 Imuおよびレーダーを介した認証管理

Publications (2)

Publication Number Publication Date
JP2022541093A JP2022541093A (ja) 2022-09-22
JP7316383B2 true JP7316383B2 (ja) 2023-07-27

Family

ID=74187769

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021569190A Active JP7316383B2 (ja) 2019-07-26 2019-08-30 Imuおよびレーダーを介した認証管理
JP2023116089A Pending JP2023156296A (ja) 2019-07-26 2023-07-14 Imuおよびレーダーを介した認証管理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023116089A Pending JP2023156296A (ja) 2019-07-26 2023-07-14 Imuおよびレーダーを介した認証管理

Country Status (5)

Country Link
US (2) US11288895B2 (ja)
EP (1) EP4004686A1 (ja)
JP (2) JP7316383B2 (ja)
KR (1) KR20210153695A (ja)
CN (1) CN113906367B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
WO2019148139A1 (en) * 2018-01-26 2019-08-01 California Institute Of Technology Systems and methods for communicating by modulating data on zeros
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
EP3936980A1 (en) 2019-08-30 2022-01-12 Google LLC Input methods for mobile devices
KR20220098805A (ko) 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
WO2024072467A1 (en) * 2022-09-30 2024-04-04 Google Llc Detecting user engagement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016517087A (ja) 2013-03-14 2016-06-09 クアルコム,インコーポレイテッド 検出された視線に基づくデバイスインタラクションのためのシステムおよび方法
US20170097413A1 (en) 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
US20190187265A1 (en) 2017-12-15 2019-06-20 Google Llc Seamless Authentication Using Radar

Family Cites Families (245)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6037893A (en) 1998-07-31 2000-03-14 Litton Systems, Inc. Enhanced motion compensation technique in synthetic aperture radar systems
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
EP1067397B1 (de) 1999-07-03 2006-01-25 Siemens Schweiz AG Bewegungsmelder nach dem Doppler-Prinzip
WO2002071096A2 (en) 2001-03-02 2002-09-12 Massachusetts Institute Of Technology High-definition imaging apparatus and method
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
EP1324276B1 (en) * 2001-12-28 2008-10-15 Matsushita Electric Works, Ltd. Use of an electronic key and electronic security system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
US7277706B2 (en) * 2003-02-12 2007-10-02 Nokia Corporation Provision of service contexts in a communication system
JP4314877B2 (ja) * 2003-05-12 2009-08-19 ソニー株式会社 機器間認証システム及び機器間認証方法、通信装置、並びにコンピュータ・プログラム
WO2006003590A2 (en) 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US6970128B1 (en) 2004-10-06 2005-11-29 Raytheon Company Motion compensated synthetic aperture imaging system and methods for imaging
US6990335B1 (en) * 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
IL170689A (en) 2005-09-06 2011-08-31 Camero Tech Ltd Imaging device through a wall
JP2007080219A (ja) 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20080074307A1 (en) 2006-05-17 2008-03-27 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects within a doppler radar system
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
CN101578571A (zh) 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009042392A2 (en) * 2007-09-24 2009-04-02 Apple Inc. Embedded authentication systems in an electronic device
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US20100008031A1 (en) 2008-07-08 2010-01-14 Emblaze Mobile Ltd Ergonomic handheld device
US8154435B2 (en) 2008-08-22 2012-04-10 Microsoft Corporation Stability monitoring using synthetic aperture radar
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8516397B2 (en) 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
EP2394235A2 (en) * 2009-02-06 2011-12-14 Oculis Labs, Inc. Video-based privacy supporting system
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8488413B2 (en) 2009-10-16 2013-07-16 Casio Computer Co., Ltd. Indicated position detecting apparatus and indicated position detecting method
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20150301167A1 (en) 2009-12-18 2015-10-22 Christopher Gary Sentelle Detection of movable objects
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8694702B2 (en) * 2010-02-11 2014-04-08 Hewlett-Packard Development Company, L.P. Input command
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
JP2012058921A (ja) 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8483617B2 (en) 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20120270564A1 (en) 2011-04-19 2012-10-25 Qualcomm Incorporated Methods and apparatuses for use in a mobile device to detect signaling apertures within an environment
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130038564A1 (en) 2011-08-10 2013-02-14 Google Inc. Touch Sensitive Device Having Dynamic User Interface
US20130159940A1 (en) 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
US20200302732A9 (en) 2011-10-20 2020-09-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
WO2013096704A1 (en) 2011-12-20 2013-06-27 Sadar 3D, Inc. Systems, apparatus, and methods for acquisition and use of image data
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
KR20140027837A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스에서 사용자 인터페이스 방법
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US9785217B2 (en) 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
TWI471756B (zh) 2012-11-16 2015-02-01 Quanta Comp Inc 虛擬觸控方法
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US20140157209A1 (en) 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US9075429B1 (en) 2012-12-19 2015-07-07 Amazon Technologies, Inc. Distortion correction for device display
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9448634B1 (en) 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US11017069B2 (en) 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9065932B2 (en) 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
US9389641B2 (en) 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9231765B2 (en) 2013-06-18 2016-01-05 Arm Ip Limited Trusted device
JP6480434B2 (ja) 2013-06-27 2019-03-13 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101488193B1 (ko) 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US20150070263A1 (en) 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
US20150077345A1 (en) 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US20150088282A1 (en) 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
JP2015103020A (ja) 2013-11-25 2015-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9851896B2 (en) 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
US20150205358A1 (en) 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
JP6620374B2 (ja) 2014-02-24 2019-12-18 ソニー株式会社 カスタマイズされた触覚フィードバックのためのスマートウェアラブル装置及び方法
WO2015131953A1 (de) 2014-03-07 2015-09-11 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung
KR102222561B1 (ko) 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
JP6468883B2 (ja) 2014-04-10 2019-02-13 キヤノン株式会社 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体
US11039314B2 (en) 2014-04-29 2021-06-15 Taliware, Inc. Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
CN104008319B (zh) 2014-05-14 2017-11-24 深圳市汇顶科技股份有限公司 基于指纹识别的终端及其待机状态下的登录方法、系统
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
WO2015196063A1 (en) 2014-06-19 2015-12-23 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6282188B2 (ja) 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US10101793B2 (en) 2014-07-18 2018-10-16 Apple Inc. Raise gesture detection in a device
US20160036996A1 (en) * 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US9633497B2 (en) 2014-09-05 2017-04-25 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for medical monitoring device gesture control lockout
US11137490B2 (en) 2014-09-16 2021-10-05 Teknologian Tutkimuskeskus Vtt Navigational aid with adaptive radar
CA2904881A1 (en) 2014-09-22 2016-03-22 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US9410979B2 (en) 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6249919B2 (ja) 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) * 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
WO2016099026A1 (ko) 2014-12-15 2016-06-23 주식회사 진진 사용자의 모션을 인식하는 레이더 디텍터
EP3234731B1 (en) 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
JP6524717B2 (ja) * 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) * 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160282934A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
US9547762B2 (en) 2015-03-30 2017-01-17 Google Inc. Authenticating user and launching an application on a single intentional user gesture
US9904409B2 (en) 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
KR20160123200A (ko) 2015-04-15 2016-10-25 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US20200364967A1 (en) 2015-04-15 2020-11-19 Richard SPICE Contactless payment terminal
CN107431778B (zh) 2015-04-22 2021-06-22 索尼公司 信息处理装置、信息处理方法和程序
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
CN106503004B (zh) 2015-09-07 2020-09-11 腾讯科技(深圳)有限公司 一种信息处理方法及装置、终端
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US20170097684A1 (en) 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
CN106371569A (zh) 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
WO2017100641A1 (en) 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
DE102016100064B4 (de) * 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
CN205318531U (zh) * 2016-01-22 2016-06-15 上海云充新能源科技有限公司 电动汽车充电桩用户自动感知确认系统
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
US10161175B2 (en) 2016-02-29 2018-12-25 Ford Global Technologies, Llc Moving object detection for power door system
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
US20170329412A1 (en) 2016-05-16 2017-11-16 Google Inc. Systems and Methods of Gesture-Based Control
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
CN107404628B (zh) 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR102620138B1 (ko) 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10791213B2 (en) 2016-06-14 2020-09-29 Hand Held Products, Inc. Managing energy usage in mobile devices
US10238976B2 (en) 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
EP3267291B1 (en) 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
US20180046255A1 (en) 2016-08-09 2018-02-15 Google Inc. Radar-based gestural interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
CA3033852C (en) 2016-08-15 2023-04-11 Georgia Tech Research Corporation Electronic device and method of controlling the same
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10168767B2 (en) 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10754417B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10356617B2 (en) 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US20200372239A1 (en) * 2017-05-15 2020-11-26 Microsoft Technology Licensing, Llc Device wake-up based on fingerprint sensor
EP3602366A1 (en) * 2017-05-15 2020-02-05 Microsoft Technology Licensing, LLC Headset with fingerprint authentication
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
KR102317965B1 (ko) * 2017-07-31 2021-10-26 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 휴리스틱 기반의 음향 방출 및 에너지 보존 기법
US11030289B2 (en) 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
US20200371660A1 (en) 2017-08-03 2020-11-26 Huawei Technologies Co., Ltd. Anti-Accidental Touch Method And Terminal
WO2019032590A1 (en) 2017-08-09 2019-02-14 The Board Of Trustees Of The Leland Stanford Junior University INTERACTIVE BIOMETRIC TOUCH SCANNER
CN107580129A (zh) 2017-09-01 2018-01-12 北京小米移动软件有限公司 终端状态控制方法及装置
US10612936B2 (en) 2017-09-01 2020-04-07 Telenav, Inc. Navigation system with delivery mechanism and method of operation thereof
CN109491496A (zh) 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
WO2019146032A1 (ja) 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN110417986B (zh) 2018-04-28 2020-10-23 华为技术有限公司 一种灭屏显示的方法及电子设备
US11027822B2 (en) 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
CN108639006A (zh) * 2018-07-04 2018-10-12 江苏吉厚智能制造有限公司 汽车尾门雷达开启系统
US10284541B1 (en) * 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
CN108958490B (zh) 2018-07-24 2021-09-17 Oppo(重庆)智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11310226B2 (en) 2018-12-19 2022-04-19 Paypal, Inc. Gesture and motion detection using a device radar component for user authentication
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
CN109857251A (zh) 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
KR20200101192A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 의도되지 않은 사용자 입력의 수신을 방지하는 전자 장치 및 전자 장치의 동작 방법
US11409488B2 (en) 2019-02-19 2022-08-09 Samsung Electronics Co., Ltd. Electronic device and display control method thereof
US11379016B2 (en) * 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11496387B2 (en) 2019-06-11 2022-11-08 Zscaler, Inc. Auto re-segmentation to assign new applications in a microsegmented network
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11604891B2 (en) * 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
WO2021021218A1 (en) 2019-07-26 2021-02-04 Google Llc Maintaining an authenticated state
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
KR20240026524A (ko) 2019-07-26 2024-02-28 구글 엘엘씨 인증된 상태 유지하기
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
KR20220098805A (ko) 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
EP3936980A1 (en) 2019-08-30 2022-01-12 Google LLC Input methods for mobile devices
US20210103337A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
US11640208B2 (en) 2019-11-21 2023-05-02 Infineon Technologies Ag Gesture feedback in distributed neural network system
CN115079109A (zh) * 2022-06-07 2022-09-20 中国石油大学(华东) 一种合成孔径雷达成像质量指标评价系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016517087A (ja) 2013-03-14 2016-06-09 クアルコム,インコーポレイテッド 検出された視線に基づくデバイスインタラクションのためのシステムおよび方法
US20170097413A1 (en) 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
US20190187265A1 (en) 2017-12-15 2019-06-20 Google Llc Seamless Authentication Using Radar

Also Published As

Publication number Publication date
EP4004686A1 (en) 2022-06-01
JP2023156296A (ja) 2023-10-24
US20220180659A1 (en) 2022-06-09
CN113906367B (zh) 2024-03-29
US11288895B2 (en) 2022-03-29
KR20210153695A (ko) 2021-12-17
US11790693B2 (en) 2023-10-17
JP2022541093A (ja) 2022-09-22
US20210027049A1 (en) 2021-01-28
CN113906367A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
JP7316383B2 (ja) Imuおよびレーダーを介した認証管理
JP7292437B2 (ja) Imuおよびレーダーに基づいて状態を下げること
CN112655188B (zh) 由用户设备进行的鲁棒的基于雷达的姿势识别
US11385722B2 (en) Robust radar-based gesture-recognition by user equipment
KR102639579B1 (ko) 인증된 상태 유지하기
US11467672B2 (en) Context-sensitive control of radar-based gesture-recognition
WO2021021220A1 (en) Authentication management through imu and radar
US20220283649A1 (en) Radar Gesture Input Methods for Mobile Devices
US11868537B2 (en) Robust radar-based gesture-recognition by user equipment
JP7346595B2 (ja) レーダーベースのジェスチャー認識の状況感知型制御

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150