JP2023544245A - 呼吸器の健康状態をモニタリングするための非接触デバイス - Google Patents

呼吸器の健康状態をモニタリングするための非接触デバイス Download PDF

Info

Publication number
JP2023544245A
JP2023544245A JP2023513780A JP2023513780A JP2023544245A JP 2023544245 A JP2023544245 A JP 2023544245A JP 2023513780 A JP2023513780 A JP 2023513780A JP 2023513780 A JP2023513780 A JP 2023513780A JP 2023544245 A JP2023544245 A JP 2023544245A
Authority
JP
Japan
Prior art keywords
user
radar data
radar
health monitoring
data streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513780A
Other languages
English (en)
Inventor
シン,ドンギク
シュナイダー,ローガン
ゴールデンソン,アンドリュー・ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2023544245A publication Critical patent/JP2023544245A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4815Sleep quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/886Radar or analogous systems specially adapted for specific applications for alarm systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07Home care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electromagnetism (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • High Energy & Nuclear Physics (AREA)

Abstract

非接触ヘルスモニタリングデバイスは、受信したレーダーデータストリームから、複数のビームステアリングされたレーダーデータストリームを作成するビームステアリング処理を実行し得る。非接触ヘルスモニタリングデバイスは、空間ゾーンレーダーデータストリームごとの時間に応じたユーザの呼吸による変位を判定し得る。非接触ヘルスモニタリングデバイスは、空間ゾーンレーダーデータストリームごとの時間に応じたユーザの呼吸による変位を解析し得る。非接触ヘルスモニタリングデバイスは、ユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力し得る。

Description

関連出願の相互参照
本願は、2019年5月8日に出願され、「Sleep Tracking and Vital Sign Monitoring Using Low Power Radio Waves(小電力電波を用いた睡眠トラッキングおよびバイタルサインモニタリング)」と題されたPCT出願米国第2019/031,290号の関連出願である。また、本願は、2020年8月11日に出願され、「Contactless Sleep Detection and Disturbance Attribution(非接触睡眠検知および障害の原因特定)」(代理人整理番号:090421-1183285)と題された通常出願第16/990,705号の関連出願でもある。さらに、本願は、2020年8月11日に出願され、「Contactless Sleep Detection and Disturbance Attribution for Multiple Users(複数のユーザの非接触睡眠検知および障害の原因特定)」(代理人整理番号:090421-1183289)と題された通常出願第16/990,714号の関連出願である。また、本願は、2020年8月11日に出願され、「Contactless Cough Detection and Attribution(非接触咳検知および原因特定)」(代理人整理番号:090421-1183290)と題された通常出願第16/990,720号の関連出願である。また、本願は、2020年8月11日に出願され、「Precision Sleep Tracking Using a Contactless Sleep Tracking Device(非接触睡眠トラッキングデバイスを用いた高精度睡眠トラッキング)」(代理人整理番号:090421-1190042)と題された通常出願第16/990,726号の関連出願である。また、本願は、2020年8月11日に出願され、「Initializing Sleep Tracking on a Contactless Health Tracking Device(非接触ヘルストラッキングデバイス上での睡眠トラッキング初期化)」(代理人整理番号:090421-1198051)と題された通常出願第16/990,746号の関連出願である。これらの出願のすべての開示内容をあらゆる目的のために引用により本明細書に援用する。
背景
人は、睡眠中、特に1人で睡眠を取る傾向にある場合、本人が気づいていない健康問題を抱えている場合がある。頻繁に目が覚める、疲労を感じる、過度の眠気、または運動パフォーマンスが悪いなどの症状を抱える傾向があるのにこれらの症状を特定することができなかったり、これらの症状の原因を睡眠時に現れる医学的問題を理由にすることができなかったりすることがある。たとえば、睡眠時無呼吸と関連がある可能性のある奇異呼吸では、言及したこれらの症状の一部またはすべての症状を抱えている場合がある。このような人は、呼吸など健康の原因特定を睡眠中にモニタリングすることでメリットが得られる場合がある。
概要
非接触ヘルスモニタリングデバイスに関する様々な実施の形態について説明する。いくつかの実施の形態では、非接触ヘルスモニタリングデバイスについて説明する。このデバイスは、筐体を備えてもよい。デバイスは、複数のアンテナを含み得るレーダーセンサーを備えてもよい。レーダーセンサーは、筐体に収容されてもよい。デバイスは、レーダーセンサーと通信する、筐体に収容された1つ以上のプロセッサを含む処理システムを備えてもよい。処理システムは、複数のアンテナのアンテナごとに、レーダーセンサーからレーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信するように構成されてもよい。処理システムは、受信した複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成するビームステアリング処理を実行するように構成されてもよい。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定するように構成されてもよい。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについてユーザの呼吸による変位を解析するように構成されてもよい。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じたユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力するように構成されてもよい。
このようなデバイスの実施の形態は、次の特徴のうち1つ以上を含み得る。スクリーニング結果は、ユーザが奇異呼吸を抱えていることを示してもよい。ビームステアリング処理は、WDAS(重み付き遅延和)ビームステアリングを適用して複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成することを含んでもよい。処理システムが複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定するように構成されることは、処理システムが、複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとに位相値を判定するように構成されることを含んでもよい。複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについてユーザの呼吸による変位を解析するように処理システムが構成されることは、予め訓練済みの機械学習モデルを適用するように処理システムが構成されることを含んでもよい。予め訓練済みの機械学習モデルは、ニューラルネットワークであってもよい。複数の照準が合わせられた空間ゾーンの各照準が合わせられた空間ゾーンは、ユーザの体の異なる部分に対応してもよい。複数の照準が合わせられた空間ゾーンは、少なくとも5つの照準が合わせられた空間ゾーンを含んでもよい。処理システムは、複数のレーダーデータストリームに基づいて、ユーザが睡眠状態にあり動いていないとステートマシンを用いて判定するようにさらに構成されてもよい。デバイスは、筐体に収容された、処理システムと通信するワイヤレスネットワークインタフェースをさらに備えてもよい。デバイスは、筐体に収容された、処理システムと通信するタッチスクリーンディスプレイとをさらに備えてもよい。デバイスは、筐体に収容された、処理システムと通信するマイクロフォンをさらに備えてもよい。デバイスは、筐体に収容された、処理システムと通信するスピーカーをさらに備えてもよい。処理システムは、ユーザの呼吸による変位を解析することに関する発話コマンドを受信するように構成されてもよい。処理システムは、ワイヤレスネットワークインタフェースを介して発話要求をクラウドベースのサーバシステムに送信させるようにさらに構成されてもよい。処理システムは、発話要求をクラウドベースのサーバシステムに送信したことに応答して、ワイヤレスネットワークインタフェースを介してコマンドを受信するように構成されてもよい。処理システムは、受信したコマンドに少なくとも一部基づいて、タッチスクリーンディスプレイを介してスクリーニング結果を出力するようにさらに構成されてもよい。
いくつかの実施の形態では、非接触で呼吸器の健康状態をモニタリングするための方法について説明する。この方法は、レーダーサブシステムの複数のアンテナのアンテナごとに、レーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信することを含んでもよい。方法は、1つ以上のプロセッサが、受信した複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成し得るビームステアリング処理を実行することを含んでもよい。方法は、1つ以上のプロセッサが、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定することを含んでもよい。方法は、1つ以上のプロセッサが、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについてユーザの呼吸による変位を解析することを含んでもよい。方法は、1つ以上のプロセッサが、複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じたユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力することを含んでもよい。
このような方法の実施の形態は、次の特徴のうち1つ以上を含み得る。スクリーニング結果は、ユーザが奇異呼吸を抱えていることを示してもよい。ビームステアリング処理は、WDAS(重み付き遅延和)ビームステアリングを適用して、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成することを含んでもよい。処理システムが複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定することは、複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとに位相値を判定することを含んでもよい。複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについてユーザの呼吸による変位を解析することは、予め訓練済みの機械学習モデルを適用することを含んでもよい。予め訓練済みの機械学習モデルは、ニューラルネットワークであってもよい。複数の照準が合わせられた空間ゾーンの各照準が合わせられた空間ゾーンは、ユーザの体の異なる部分に対応してもよい。複数の照準が合わせられた空間ゾーンは、少なくとも3つの照準が合わせられた空間ゾーンを含んでもよい。方法は、複数のレーダーデータストリームに基づいて、ユーザが睡眠状態にあり動いていないとステートマシンを用いて判定することをさらに含んでもよい。
いくつかの実施の形態では、非接触ヘルスモニタリングデバイスを提示する。このデバイスは、筐体を備え得る。デバイスは、複数のアンテナを含むレーダーセンサーを備え得、レーダーセンサーは、筐体に収容される。デバイスは、処理システムをさらに備え得、処理システムは、レーダーセンサーと通信する、筐体に収容された1つ以上のプロセッサを含む。処理システムは、複数のアンテナのアンテナごとに、レーダーセンサーからレーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信するように構成され得る。処理システムは、受信した複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成するビームステアリング処理を実行するように構成され得る。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定するように構成され得る。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについてユーザの呼吸による変位を解析するように構成され得る。処理システムは、複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じたユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力するように構成され得る。照準が合わせられた空間ゾーンレーダーストリームのうち、第1は、ユーザの胸部ゾーンに対応してもよい。照準が合わせられた空間ゾーンレーダーストリームのうち、第2は、ユーザの腹部ゾーンに対応してもよい。解析は、腹部ゾーンの呼吸による変位と、胸部ゾーンの呼吸による変位との間の、奇異呼吸状態を示すのに十分な位相差を検出することを含んでもよい。出力されるスクリーニング結果は、検出された奇異呼吸状態を表す情報を含んでもよい。
下記の図面を参照することで様々な実施の形態の性質および利点をさらに理解できるようになるであろう。添付の図面では、同様の構成要素または特徴には同じ参照ラベルが付さ得る。さらには、同じ種類の様々な構成要素は、参照ラベルの後にダッシュ記号、および同様の構成要素間で区別する第2のラベルが続くことで区別され得る。明細書において第1の参照ラベルのみが使われている場合、その説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルが付された同様の構成要素のすべてに適用可能である。
奇異呼吸を定義する図である。 睡眠中にモニタリングされるユーザの呼吸の例を示す図である。 非接触ヘルスモニタリングシステムの実施の形態のブロック図である。 非接触ヘルスモニタリングシステムの実施の形態を示す図である。 レーダーサブシステムが出力する周波数変調連続波レーダー電波の実施の形態を示す図である。 非接触ヘルスモニタリングシステムの一部として用いられ得る位相キャプチャモジュールの実施の形態を示す図である。 複数の空間ゾーンをモニタリングする非接触ヘルスモニタリングシステムの実施の形態を示す図である。 睡眠トラッキングが行われる方向に照準を合わせる非接触睡眠トラッキングデバイスのビームステアリングモジュールの実施の形態を示す図である。 非接触睡眠トラッキングデバイスのビームステアリングモジュールと組み合わせて用いられ得るレーダーサブシステムのアンテナ配置の実施の形態を示す図である。 睡眠トラッキングが行われる方向に照準を合わせるためのビームステアリングモジュールの別の実施の形態を示す図である。 レーダーを利用して人間の対話を検出し、統合ビームステアリングを用いて健康状態のモニタリングを行うヘルストラッキングシステムの実施の形態を示す図である。 非接触ヘルストラッキングデバイスの実施の形態の分解図を示す。 人が睡眠している時を判断するための状態システムの実施の形態を示す図である。 ユーザの呼吸の非接触モニタリングを実行するための方法の実施の形態を示す図である。
詳細な説明
奇異呼吸では、人の胸部の動きと横隔膜(より一般に、腹部)の動きとが同期しない。図1は、奇異呼吸を定義する図100を示す。通常の呼吸例110は、膨張した胸部/腹部130と収縮した胸部/腹部131によって示されているように、人の胸部101と腹部102とが互いにほぼ同期して動く傾向があることを示している。すなわち、人が呼吸すると、胸部101と腹部102は、ほぼ同時に外側と内側に動く傾向がある。例111では、胸部101と腹部102とは、同期して内側と外側に動き、人の胸部の動きと人の腹部の動きとを表す個々の波形が加算された時に建設的な加算動き波形が得られる。
奇異呼吸例120では、胸部膨張/腹部収縮状態140および胸部収縮/腹部膨張状態141によって表されているように、腹部102が内側に動いているときに胸部101が外側に動き(膨張する)、腹部102が外側に動いているときに胸部101が内側に動いている。この状態では、人の肺を出入りする空気が減り、人の肺に存在する酸素量が減ってしまうため、人の血液の酸素供給レベルが減ってしまう。奇異呼吸によって人が抱える可能性のある症状として、頻繁に目が覚める、疲労感、過度の眠気(覚醒時)、および/または乏しい運動能力を含み得る。さらには、奇異呼吸は、睡眠時無呼吸など、より大きな健康問題の兆候である可能性がある。奇異呼吸では、例121に示されているように、胸部101および腹部102の動きを示す波形が加算された場合、完璧または重大な破壊的干渉が現れる。これに加えてまたはこれに代えて、本明細書において詳細を説明する実施の形態は、呼吸努力および気道の開存性の特定を助けることができるため、中枢神経的原因(たとえば、脳、脳幹、脊椎)、生理学的原因(たとえば、遺伝性/走化性、心不全、標高、麻薬など)、内因的原因(たとえば、神経障害、筋疾患)、および外因的原因(たとえば、閉塞性または拘束性肺疾患)の呼吸障害の存在を推定することまたはこれらの呼吸障害を区別できるようにする。
本明細書において詳細を説明する実施の形態は、奇異呼吸またはその他の呼吸状態が生じたことを特定でき、かつ、この状態の兆候を、場合によっては医師の診察を受けるよう勧めることと共にユーザに提供できる非接触ヘルスモニタリングデバイスに焦点を当てる。このような非接触モニタリングは、ユーザが睡眠中に行うことができる。非接触ヘルスモニタリングデバイスは、ベッドわきに設置でき、設置されると、ユーザが睡眠中のときを判断でき、ユーザの胸部および/または腹部の動きに基づいて検出できる奇異呼吸および/またはその他の呼吸状態についてユーザをモニタリングできる。非接触ヘルスモニタリングデバイスは、レーダーを用いてユーザの胸部および/または腹部の様々な部分をモニタリングする。(わかりやすくするために、本明細書の残りの部分では、ユーザの胸部のみについて言及する。しかしながら、胸部という用語は、ユーザの腹部の一部を少なくとも含むよう解釈できることを理解されたい。)ユーザの胸部のそれぞれ異なる部位にまたがって生じる動きを用いて、奇異呼吸が生じているかどうかを判断できる。その他の呼吸状態については、本明細書において詳細を説明するシステムおよび方法と同様のシステムおよび方法を用いてモニタリングできる。たとえば、浅い呼吸および不規則な呼吸を、同様のシステムおよび方法を用いて特定できる。
図2は、本明細書において詳細を説明する実施の形態を用いて睡眠中にモニタリングされるユーザの呼吸の実施の形態200を示す図である。実施の形態200では、ユーザ201は、ベッド202で睡眠中である。非接触ヘルスモニタリングデバイス210(「デバイス210」)は、サイドテーブルの上など、ベッドの横に置かれる。レーダーを用いて、呼吸に起因するユーザ201の動きを検出し得る。非接触ヘルスモニタリングデバイス210が出力する電波(ミリ波であってもよい)は、シーツ、ブランケット、衣服、およびその他の無生物を貫通し得る。そのため、非接触ヘルスモニタリングデバイス210とユーザ201の胸部との間の直接路にブランケット、シーツ、および衣類が存在しているにも関わらず、ユーザ201の呼吸をモニタリングすることができる。
デバイス210によって空間ゾーン220をモニタリングできる。空間ゾーン220の各々は、ユーザ201の胸部の異なる領域に対応する。これらの空間ゾーン220は一部重なり合うことができる。その他の実施の形態では、空間ゾーン220は、ビームステアリングを用いて互いに間隔が空けられて、重なり合いが大きくなったり、小さくなったり、なくなったりする。いくつかの実施の形態では、2つの隣接する空間ゾーンは、50%未満が重なり合う。空間ゾーン220の数は、実施の形態によって異なり得る。いくつかの実施の形態では、わずか2つの空間ゾーンだけが存在していてもよい。いくつかの実施の形態では、3つ、4つ、5つ、またはそれ以上の数の空間ゾーン220が存在する。さらに別の実施の形態では、実施の形態200において例示するように、6つの空間ゾーンが存在してもよい。
ビームステアリングを用いて、空間ゾーン220(たとえば、空間ゾーン220-1、220-2、220-3、220-4、220-5、および220-6)の各々に個々に照準を合わせることができる。デバイス210が複数のアンテナを有していることによって、デバイス210による処理を利用してビームステアリングを実行できる。そのため、デバイス210の複数のアンテナを用いて、複数の電波から構成される1つのレーダーチャープを放射でき、その反射を受信できる。受信した反射電波から取得したデータにはビームステアリング処理が適用されており、空間ゾーン220のうち特定の空間ゾーンに効果的に照準を合わせることができる。この同じデータにビームステアリング処理を複数回(たとえば、異なる重みを用いて)適用することにより、同じデータセットを用いて空間ゾーン220の各々に照準を合わせることが可能になる。たとえば、様々な重みを適用して、空間ゾーン220-6に照準を合わせるためのビームフォーム215を作成し得る。別個の重みセットを同じデータに適用してビームステアリングを行い、空間領域220-5に照準を合わせることができる。反射した電波に基づいて設定された同じデータセットが複数のビームステアリング処理を用いて処理されるので、空間ゾーン220のうち1つの空間ゾーン220において生じている動きを、その他の空間ゾーン220における動きと同時にまたは別個にモニタリングできる。
図3は、非接触ヘルスモニタリングシステム300(「システム300」)の実施の形態のブロック図を示す。システム300は、非接触ヘルスモニタリングデバイス301(「デバイス301」)と、ネットワーク360と、クラウドベースのサーバシステム370とを備え得る。デバイス301は、図2のデバイス210の実施の形態を表し得る。デバイス301は、処理システム310と、データストレージ318と、レーダーサブシステム320と、環境センサースイート330と、ディスプレイ340と、ワイヤレスネットワークインタフェース350と、スピーカー355とを備え得る。概して、デバイス301は、デバイス301の構成要素のすべてを収容する筐体を備え得る。このような可能性のある筐体についてのさらなる詳細は、図9および図10に関連して説明する。
処理システム310は、レーダー処理モジュール312の機能、睡眠状態検出エンジン314の機能、および呼吸モニタエンジン316の機能など、様々な機能を実行するように構成された1つ以上のプロセッサを備え得る。処理システム310は、1つ以上の特定用途向けプロセッサまたは汎用プロセッサを備えることができる。このような特定用途向けプロセッサは、本明細書において説明する機能を実行するように特別に設計されたプロセッサを含み得る。このような特定用途向けプロセッサは、本明細書において説明する機能を実行するように物理的または電気的に構成された汎用部品であるASICまたはFPGAであり得る。このような汎用プロセッサは、RAM(Random Access Memory)、フラッシュメモリ、HDD(ハードディスクドライブ)、またはSSD(ソリッドステートドライブ)など、1つ以上の非一時的なプロセッサ読み取り可能な媒体を用いて格納される特定用途向けソフトウェアを実行し得る。
レーダーサブシステム320(レーダーセンサーとも称す)は、受信した反射波形を示すデータ放射、受信、および出力する1つのIC(集積回路)であり得る。レーダーサブシステム320の出力は、処理システム310のレーダー処理モジュール312を用いて解析され得る。レーダーサブシステム320およびレーダー処理モジュール312についてのさらなる詳細は、図4Aに関連して説明する。
デバイス301は、環境センサースイート330の一部として提供される環境センサーのすべて、1つ、または組合せなど、1つ以上の環境センサーを備えてもよい。環境センサースイート330は、光センサー332と、マイクロフォン334と、温度センサー336と、PIR(パッシブ赤外線)センサー338とを含み得る。いくつかの実施の形態では、これらのセンサーの一部またはすべての複数のインスタンスが存在してもよい。たとえば、いくつかの実施の形態では、複数のマイクロフォンが存在してもよい。デバイス301の一般環境に存在する周辺光の量を計測するための光センサー332を使用してもよい。デバイス301の一般環境に存在する周囲の雑音レベルを計測するためのマイクロフォン334を使用してもよい。デバイス301の一般環境の周囲温度を計測するための温度センサー336を使用してもよい。PIRセンサー338を用いて、デバイス301の一般環境内にある動いている生物(たとえば、人、ペット)を検出してもよい。その他の種類の環境センサーも可能である。たとえば、カメラおよび/または湿度センサーを、環境センサースイート330の一部として組み込んでもよい。別の例として、アクティブ赤外線センサーを含んでもよい。いくつかの実施の形態では、湿度データなどのデータを、インターネットを経由して利用可能なデータを有する近くの気象台から取得してもよい。いくつかの実施の形態では、ソナーおよび超音波(これらに限定されない)を含み、かつ、1つまたは配列された複数の音響ソースおよび/または音響受信機を含むアクティブ音響センシング方法が実施され得る。このような配置は、本明細書において説明するその他のセンサーおよび方法と組み合わされる1つ以上の付属的なセンシングモダリティとして用いられ得る。
いくつかの実施の形態では、環境センサースイート330のセンサーのうち1つ、一部、またはすべてがデバイス301の外部にあってもよい。たとえば、1つ以上のリモート環境センサーが、デバイス301と直接的に(たとえば、ダイレクトワイヤレス通信方法を介して、低消費電力メッシュネットワークを経由して)通信してもよく、間接的に(たとえば、低消費電力メッシュネットワークを経由する、ネットワークのアクセスポイントを経由する、リモートサーバを経由する1つ以上のその他のデバイスを通じて)通信してもよい。
デバイス301は、様々なインタフェースを備えてもよい。ディスプレイ340(タッチスクリーンであってもよい)は、1人以上のユーザが見るための情報を処理システム310が提示できるようにする。ワイヤレスネットワークインタフェース350は、WiFiベースのネットワークなどWLAN(ワイヤレスローカルエリアネットワーク)を用いた通信を可能にできる。スピーカー355は、合成音声などの音声を出力できるようにする。たとえば、マイクロフォン334を介して受信した発話コマンドへのレスポンスは、スピーカー355および/またはディスプレイ340を介して出力され得る。発話コマンドは、デバイス301によってローカルで解析されてもよく、解析のためにワイヤレスネットワークインタフェース350を介してクラウドベースのサーバシステム370に送信されてもよい。発話コマンドの解析に基づいたレスポンスを、スピーカー355および/またはディスプレイ340を介して出力するために、ワイヤレスネットワークインタフェース350を介してデバイス301に返すことができる。これに加えてまたはこれに代えて、超音波による音響センシングを含むアクティブ音響センシングのためにスピーカー355およびマイクロフォン334をまとめて構成してもよい。これに加えてまたはこれに代えて、様々なスマートホームデバイスと通信するために低消費電力ワイヤレスメッシュネットワーク無線およびプロトコル(たとえば、Thread)を用いるなど、その他の形態のワイヤレス通信も可能であってもよい。いくつかの実施の形態では、イーサネット(登録商標)接続などの有線ネットワークインタフェースを、ネットワークを用いた通信に利用してもよい。さらには、5G(第5世代)および6G(第6世代)規格ならびにテクノロジーへのワイヤレス通信の進化によって、待ち時間が少ない大きなスループットがもたらされ、モバイルブロードバンドサービスが向上する。また、5Gテクノロジーおよび6Gテクノロジーは、V2X(車載ネットワーキング)、固定ワイヤレスブロードバンド、およびIoT(Internet of Things)のための新しいサービスクラスを制御回線およびデータ回線で提供する。このような規格およびテクノロジーを、デバイス301による通信に利用できる。
電力制限のあるデバイスとの通信のために、低消費電力ワイヤレスメッシュネットワーク無線およびプロトコルを利用してもよい。電力制限のあるデバイスは、電池式に限られたデバイスであり得る。このようなデバイスは、電源を1つ以上のバッテリーにのみ頼るので、1つ以上のバッテリーを交換する必要がある周波数を下げるために、通信に使われる電力量は低く抑えられている可能性がある。いくつかの実施の形態では、電力制限のあるデバイスは、比較的高出力なネットワーク(たとえば、WiFi)と、低消費電力メッシュネットワークとを経由して通信する機能を有し得る。電力制限のあるデバイスは、電力を節約するために、比較的高出力なネットワークを利用する頻度は少ないであろう。このような電力制限のあるデバイスとして、環境センサー(たとえば、温度センサー、一酸化炭素センサー、煙感知器、モーションセンサー、存在検知センサー)、およびその他の形態のリモートセンサーなどがある。
とりわけ、デバイス301のいくつかの実施の形態は、スチールカメラやビデオカメラを有さない。搭載カメラを組み込まないことによって、近くのユーザは、プライバシーについて安心できるであろう。たとえば、デバイス301は、通常、ユーザの寝室に設置され得る。いろいろな理由から、ユーザは、このようなプライベートな空間にカメラが設置されたり、睡眠中にユーザにカメラを向けられたりするのを好まないであろう。その他の実施の形態では、デバイス301は、カメラを有し得るが、カメラのレンズはメカニカルレンズシャッターによって覆い隠すことができる。カメラを使うために、ユーザは、シャッターを物理的に開放してデバイス301の環境をカメラが見られるようにする必要がある。シャッターが閉じられているとき、ユーザは、カメラからプライバシーが保護されていると安心できるであろう。
ワイヤレスネットワークインタフェース350は、ネットワーク360を用いたワイヤレス通信を可能にできる。ネットワーク360は、1つ以上のパブリックネットワークおよび/またはプライベートネットワークを含み得る。ネットワーク360は、ホームワイヤレスLANなど、プライベートなローカルの有線またはワイヤレスネットワークを含み得る。また、ネットワーク360は、インターネットなど、パブリックネットワークを含んでもよい。ネットワーク360によって、デバイス301は、遠隔地に位置するクラウドベースのサーバシステム370と通信できるようになる。
クラウドベースのサーバシステム370は、デバイス301に様々なサービスを提供できる。呼吸データに関しては、クラウドベースのサーバシステム370は、呼吸関連データについての処理サービスおよびストレージサービスを含み得る。図3の実施の形態では、処理システム310が睡眠状態の検出を行うことと、ユーザの呼吸をモニタリングすることとを含んでいるが、その他の実施の形態では、このような機能は、クラウドベースのサーバシステム370によって実行されてもよい。また、呼吸データを格納するためにデータストレージ318が使われることに加えてまたはそれに代えて、呼吸関連データは、デバイス301がリンクされている共通のユーザアカウントにマッピングされるなどしてクラウドベースのサーバシステム370によって格納されてもよい。複数のユーザがモニタリングされる場合、呼吸データは、マスターユーザアカウントまたは対応するユーザのアカウントに格納およびマッピングされてもよい。
これに加えてまたはこれに代えて、クラウドベースのサーバシステム370は、その他のクラウドベースのサービスを提供してもよい。たとえば、デバイス301は、ホームアシスタントデバイスとしてさらに機能してもよい。ホームアシスタントデバイスは、ユーザからの音声クエリに応答し得る。音声トリガーフレーズが発話されたことを検出したことに応答して、デバイス301は、音声を記録し得る。オーディオのストリームが解析のためにクラウドベースのサーバシステム370に送信されてもよい。クラウドベースのサーバシステム370は、音声認識処理を実行し、自然言語処理エンジンを用いてユーザからのクエリを理解し、合成音声としてデバイス301によって出力されるレスポンス、ディスプレイ340上に提示される出力、および/またはデバイス301(たとえば、デバイス301の音量を上げる)によって実行されるもしくはその他のスマートホームデバイスに送られるコマンドを提供し得る。さらには、クエリまたはコマンドを、ディスプレイ340(タッチスクリーンであってもよい)を介してクラウドベースのサーバシステム370に送信してもよい。たとえば、デバイス301を用いて、様々なスマートホームデバイスやホームオートメーションデバイスを制御してもよい。このようなコマンドは、制御されるべきデバイスにデバイス301によって直接送られてもよく、またはクラウドベースのサーバシステム370を経由して送られてもよい。
レーダー処理モジュール312が出力するデータに基づいて、睡眠状態検出エンジン314を用いて、ユーザが睡眠中である可能性が高いか、起きている可能性が高いかを判断し得る。睡眠状態検出エンジン314は、図11に関連して詳細を説明するようなステートマシンを通じて進捗し得、または、このようなステートマシンによって特定された状態を用いてユーザが起きている可能性が高いか、寝ている可能性が高いかを判断し得る。たとえば、ユーザがベッドにいて少なくとも一定時間じっとしていると判断された場合、ユーザは、寝ていると特定され得る。睡眠状態検出エンジン314の出力は、呼吸モニタエンジン316によって用いられて、ユーザの呼吸をいつ解析および記録するか、ならびに/または呼吸モニタエンジン316をいつ起動させるか停止させるかが判断され得る。たとえば、ユーザが睡眠中で動いていない(バイタルサインが原因である動きを除いて)場合のみ、ユーザの呼吸を解析してもよい。
データストレージ318(1つ以上の非一時的なプロセッサ読み取り可能な媒体を含み得る)は、呼吸モニタエンジン316から取得したデータを格納し得る。取得したデータは、奇異呼吸などユーザが抱える異常な呼吸状態の種類、時間、期間、および/または強さの表示を含み得る。ユーザの呼吸数(たとえば、1分あたりの呼吸の数)など、その他の呼吸関連データを、トラッキングおよび格納してもよい。呼吸数の変化を、毎晩モニタリングしてもよく、数日、数週間、数ヶ月、および数年など、長期間をかけてモニタリングしてもよい。いくつかの実施の形態では、これに加えてまたはこれに代えて、このようなデータを、クラウドベースのサーバシステム370を用いて格納してもよい。
呼吸データ出力エンジン319は、機械学習モデル540から受信したデータおよび/またはデータストレージ318によって格納されたデータを集計したりまとめたりすることができ、このようなデータのサマリーを、ディスプレイ340および/またはスピーカー355を用いて出力できる。たとえば、観測された医学的問題をすべて含むユーザの呼吸のサマリーを、午前中に自動的に出力してもよく、前日の夜のサマリーを、ユーザが要求したことに応答して出力してもよい。サマリーは、ユーザの呼吸数を可視化したもの、および/または特定された病状(そして、可能であれば、特定された病状の定義)すべての表示を含み得る。また、サマリーは、病状が緩和しているのか悪化しているのかなど、より長期にわたって特定された傾向を含むこともできる。サマリーの一部またはすべてを、合成音声を用いてスピーカー355から出力してもよい。また、サマリーは、データストレージ318を用いてローカルで格納されてもよく、クラウドベースのサーバシステム370を用いて遠隔で格納されてもよい。
図4Aは、ビームステアリングを実行できる非接触ヘルスモニタリングシステム400(「システム400A」)の実施の形態を示す図である。システム400Aは、ユーザの非接触健康診断の実施を可能にする。非接触健康診断は、ユーザがベッドにいるか、ベッド内で静止しているか、またはベッド内で動いているかなど、状態の判断を含み得る。ユーザの状態を利用して、ユーザについてのヘルスデータを記録するべきか、および/またはその他のシステムを起動するべきかどうかを判断できる。たとえば、ユーザがベッドにいて静止していると判断された場合のみ、システム500Bを起動してもよい。ユーザがベッドにいて静止していると判断された場合、ユーザの細かい動きがモニタリングされ得る。これらのユーザの体の細かい動きは、呼吸および心拍数などのバイタルサインに対応し得る。このようなバイタルサインデータを、記録、格納、および解析してもよい。
システム400Aは、レーダーサブシステム405(レーダーサブシステム320の実施の形態を表し得る)と、レーダー処理モジュール410(レーダー処理モジュール312の実施の形態を表し得る)と、ビームステアリングモジュール430とを備え得る。ビームステアリングモジュール430を用いることによって実行されるビームステアリングは、ユーザが存在し得る領域からのレーダー反射に焦点を合わせることができ、近くの壁またはその他の静止物など、干渉を生じさせる物体からのレーダー反射の利用を無視または少なくとも減らすことができる。
レーダーサブシステム405は、RFエミッター406と、RFレシーバー407と、レーダー処理回路408とを備え得る。RFエミッター406は、CW(連続波)レーダーの形式などで電波を放射できる。RFエミッター406は、FMCW(周波数変調連続波)レーダーを利用してもよい。変換処理が実行されて仮想連続サンプルが作成されることと併せて、FMCWレーダーは、図4Bに関連して詳細を説明するようなバーストモードで動作し得る。レーダーサブシステム405は、バーストモードまたは連続スパースサンプリングモードで動作し得る。バーストモードでは、比較的短い期間の間隔を空けた複数のチャープから構成される1つのフレームまたはバーストが、RFエミッター406によって出力され得る。各フレームの後には、後続フレームまで比較的長い期間が続き得る。連続スパースサンプリングモードでは、チャープのフレームまたはバーストが出力されるのではなく、チャープが定期的に出力される。連続スパースサンプリングモードにおけるチャープの時間的間隔は、バーストモードの1つのフレーム内のチャープ間の間隔よりも大きいであろう。いくつかの実施の形態では、レーダーサブシステム405は、バーストモードで動作し得るが、バーストごとの出力RAWチャープウォーターフォールデータを合成(たとえば、平均化)して、連続スパースサンプリングされた模擬チャープウォーターフォールデータを作成し得る。いくつかの実施の形態では、バーストモードで集められたRAWウォーターフォールデータは、ジェスチャ検出に好ましく、連続スパースサンプリングモードで集められたRAWウォーターフォールデータは、睡眠トラッキング、バイタルサイン検出、および、概して、ヘルスモニタリングに好ましいであろう。ジェスチャ検出は、図示していないレーダーサブシステム405の出力を使用するその他のハードウェアコンポーネントまたはソフトウェアコンポーネントによって実行されてもよい。
送信された電波の周波数は、低周波数から高周波数(またはその逆)に繰り返しスイープし得る。送信に用いられる電力レベルは、レーダーサブシステム405の有効距離が数メートルまたはそれよりも短い距離だけになるよう、非常に低くてもよい。RFレシーバー407は、1つ以上のアンテナを備えてもよく、RFエミッター406が放射する電波の近くの物体を反射した電波反射を受信し得る。反射した電波は、レーダー処理回路408によって分析され得る。レーダー処理回路408は、RAW波形データを出力し得る。RAW波形データは、別個の処理エンティティによって解析されるRAWチャープウォーターフォールデータとも称することができる。レーダーサブシステム405は、1つのIC(集積回路)として実装されてもよく、または、レーダー処理回路408は、RFエミッター406およびRFレシーバー407とは別個の構成要素であってもよい。いくつかの実施の形態では、レーダーサブシステム405は、RFエミッター406およびRFレシーバー407がディスプレイ340と同じ方向に向けられるよう、デバイス301の一部として組み込まれる。その他の実施の形態では、レーダーサブシステム405を備える外部装置が有線またはワイヤレス通信によってデバイス301に接続されてもよい。たとえば、レーダーサブシステム405は、ホームアシスタントデバイスのアドオンデバイスであってもよい。
レーダーサブシステム405の場合、FMCWが用いられると、最大観測(unambiguous)FMCW距離を規定できるようになる。この距離内で、物体までの距離を精度高く求めることができる。しかしながら、この距離の外では、検出された物体は、最大観測距離内の物体よりも近いと誤って解釈される可能性がある。この誤った解釈は、混合信号の周波数、および、受信したアナログ信号をデジタル信号に変換するためにレーダーサブシステムが用いるADCのサンプリングレートが原因であり得る。混合信号の周波数がADCのサンプリングのナイキストレートよりも高い場合、反射したレーダー信号を表すADCが出力するデジタルデータは、(たとえば、より近くにある物体を示す低周波数として)不正確に表され得る。
デバイス301を利用して睡眠パターンおよびバイタル統計をモニタリングするとき、ユーザは、デバイス301の最も近くにいる人であるよう指示され得る。別の人または動物がベッド内にいる可能性がある。両者(または、ほぼベッドの幅)がレーダーサブシステム405の最大観測FMCW距離内に収まるよう、最大観測FMCW距離を、2メートルなど、十分に遠い距離に定める必要があるであろう。2メートルは、ほぼ、市販の大きなベッド(たとえば、キングサイズのベッド)の幅であるので、理想的な距離であろう。
レーダーサブシステム405は、反射したレーダー電波を受信するために複数のアンテナを備え得る。いくつかの実施の形態では、3つのアンテナが存在してもよい。これらのアンテナは、図7に関連して詳細を説明するような「L」字パターンに並べられ得、横配置および縦配置の両方に用いられているアンテナのうち1つアンテナと、2つのアンテナが横方向に直交し、2つのアンテナが縦方向に直交する。反射した電波の位相差を解析することによって、受信したレーダービームを縦方向および/または横方向に照準を合わせるために重み付けが適用され得る。その他の実施の形態では、これらのアンテナは、異なるパターンで並べられてもよい。
様々な理由から、横方向のビームステアリングを実行し得る。先ず、干渉を生じさせる物体に向けられている放射レーダーを補償するために横方向に照準が合わせられ得る。たとえば、ユーザのベッドのヘッドボードが壁に面している場合、ヘッドボードおよび/または壁が、レーダーサブシステム405の視野のかなりの部分を占める可能性がある。ユーザについてのデータを判定する際にヘッドボードおよび/または壁からのレーダー反射は利用しなくてよいであろうから、壁および/またはヘッドボードからの反射の強調を抑え、壁および/またはヘッドボードから離れて取得される反射を強調することは、有益であろう。そのため、受信したレーダー信号に重み付けを適用することによって、受信ビームを壁およびヘッドボードとは反対方向の横方向にステアリングし得る。次に、図2の空間ゾーン220など、複数の空間ゾーンに照準を合わせるために、横方向のビームステアリングを実行し得るので、ユーザの胸部のそれぞれ異なる部分を解析できるようになる。
システム400Aでは、レーダー処理モジュール410による処理が行われる前に、レーダーサブシステム405から受信したRAWレーダーウォーターフォールデータに処理を行うためのビームステアリングモジュール430が存在する。そのため、ビームステアリングモジュール430は、レーダー処理モジュール410を解析する前の前処理モジュールとして機能でき、1人以上のユーザが存在していると想定される領域を強調する役割を果たすことができる。ビームステアリングモジュール430は、ハードウェア、ソフトウェア、またはファームウェアを用いて実装され得るため、ビームステアリングモジュール430は、レーダー処理モジュール410と同じ1つ以上のプロセッサを用いて実装され得る。
ビームステアリングモジュール430は、チャネル重み付けエンジン431と、ビームステアリングシステム432とを備え得る。チャネル重み付けエンジン431は、各アンテナから受信したレーダー信号が混合される前に当該レーダー信号に適用される一連の重み付けを決定するための訓練プロセスを実行するために用いることができる。チャネル重み付けエンジン431は、モニタリング領域は不在であると判断されたときに訓練プロセスを実行してもよい。このような時間の間、大きく静的な物体(たとえば、壁、ヘッドボード)から受信した信号の強度を解析でき、このような物体とは反対方向の横方向(場合によっては縦方向)にビームをステアリングするよう重み付けを設定できる。そのため、デバイスから特定の距離範囲(たとえば、最大で1メートル)の静的環境における反射の量は、チャネル重み付けエンジン431が受信レーダービームをステアリングすることによって最小限に抑えられ得る。このような訓練は、ユーザが存在しているときも実行されてもよい。すなわち、レーダーサブシステム405の受信ビームを、動きが検出される場所、具体的には、ユーザのバイタルサインが検出される場所に向けてステアリングできる。
チャネル重み付けエンジン431が決定した重み付けは、各アンテナの受信した反射レーダー信号に重みを個々に適用するためにビームステアリングシステム432によって利用され得る。各アンテナから受信した信号は、重み付けされた後、レーダー処理モジュール410による処理のために混合され得る。ビームステアリングモジュール430の様々な実施の形態がどのように実装され得るかについてのさらなる詳細については、図6~図8に関連して詳細を説明する。ビームステアリングモジュール430は、本明細書において詳細を説明するその他の実施の形態と組み合わせて用いることができる。
ビームステアリングモジュール430からレーダー処理モジュール410にRAW波形データが渡されてもよい。レーダー処理モジュール410は、1つ以上のプロセッサを備え得る。レーダー処理モジュール410の機能は、1つ以上の特定用途向けプロセッサまたは汎用プロセッサを用いて実行されてもよい。特定用途向けプロセッサは、本明細書において説明する機能を実行するように特別に設計されたプロセッサを含み得る。このような特定用途向けプロセッサは、本明細書において説明する機能を実行するように物理的または電気的に構成された汎用部品であるASICまたはFPGAであり得る。汎用プロセッサは、RAM(Random Access Memory)、フラッシュメモリ、HDD(ハードディスクドライブ)、またはSSD(ソリッドステートドライブ)など、1つ以上の非一時的なプロセッサ読み取り可能な媒体を用いて格納されている特定用途向けソフトウェアを実行し得る。レーダー処理モジュール410は、動きフィルター411と、周波数エンファシス部412と、レンジ-バイタル変換エンジン413と、レンジゲートフィルター414と、スペクトル加算エンジン415と、ニューラルネットワーク416とを備え得る。レーダー処理モジュール410の構成要素の各々は、ソフトウェアもしくはファームウェアを用いて実装されてもよく、または専門のハードウェアとして実装されてもよい。
レーダーサブシステム405が出力し、ビームステアリングモジュール430が処理するRAWチャープウォーターフォールまたは波形データは、レーダー処理モジュール410によって受信され得、先ず、動きフィルター411を用いて処理される。いくつかの実施の形態では、フィルター処理を行うために使われる最初の構成要素が動きフィルター411であることが重要である。すなわち、いくつかの実施の形態では、レーダー処理モジュール410が実行する処理は、交換可能(commutative)ではない。通常、バイタルサインの判定および睡眠のモニタリングは、モニタリングされるユーザが睡眠中またはベッドで睡眠しようとしているときに起こり得る。このような環境では、通常、動きはほとんどないであろう。このような動きは、ユーザがベッド内で動くこと(たとえば、就寝しようとして寝返りを打つこと、または睡眠中に寝返りを打つこと)、そして呼吸が原因である動きおよびモニタリングされているユーザの心拍が原因である動きを含むユーザのバイタルサインに起因し得る。このような環境では、RFエミッター406から放射された電波の大部分は、マットレス、ボックススプリング、ベッドフレーム、壁、家具、寝具など、モニタリングされているユーザの近傍にある静的な物体によって反射される可能性がある。そのため、レーダーサブシステム405から受信したRAW波形データの大部分は、ユーザの動きおよびユーザのバイタル計測値とは無関係である可能性がある。
動きフィルター411は、受信したRAW波形データの「チャープ」またはスライスをバッファリングする波形バッファを備えてもよい。たとえば、サンプリング処理は、10Hzの速度で起こり得る。その他の実施の形態では、サンプリング処理は、これよりも遅くてもよく、速くてもよい。特定の実施形態では、動きフィルター411は、20秒の受信RAW波形チャープをバッファリングしてもよい。その他の実施の形態では、これよりも短い期間または長い期間のバッファリングされたRAW波形データをバッファリングしてもよい。このバッファリングされたRAW波形データには、静止物を示すRAW波形データを除去するためのフィルター処理を実行できる。すなわち、モニタリングされているユーザの胸部など、動いている物体の場合、ユーザの心拍および呼吸数は、レーダーサブシステム405が行う距離の計測および速度の計測ならびに動きフィルター411への出力に影響を与えることになる。このユーザの動きにより、バッファ期間にわたって、受信したRAW波形データに「ジッター」が生じる。より具体的には、ジッターは、放射された電波を反射する移動体によって生じる位相の変動を指す。本明細書において詳細を説明するが、反射されたFMCW電波を用いて移動体の速度を判定するのではなく、動きによって誘発された、反射した電波における位相変動を用いて心拍数および呼吸数を含むバイタル統計を計測できる。
家具などの静止物の場合、バッファ期間にわたってRAW波形データにゼロ位相変動(すなわち、ジッターなし)が存在することになる。動きフィルター411は、動きを示すRAW波形データがさらなる解析のために周波数エンファシス部412に渡されるよう、静止物に対応するこのようなRAW波形データを取り除くことができる。静止物に対応するRAW波形データは、破棄されてもよく、そうで無い場合、レーダー処理モジュール410による残りの処理では無視されてもよい。
いくつかの実施の形態では、動きフィルター411の一部としてIIR(無限インパルス応答)フィルターが組み込まれる。具体的には、動きを示さないRAW波形データをフィルター処理して取り除くための単極IIRフィルターが実装され得る。そのため、単極IIRフィルターは、特定の周波数よりも低い動きを示すRAW波形データが周波数エンファシス部412を通過しないようにするハイパス・ローブロックフィルターとして実装され得る。人間のバイタルサインに対する既知の限界に基づいて、遮断周波数を設定してもよい。たとえば、呼吸数は、1分あたり10~60の呼吸数であると想定され得る。1分あたりの呼吸数が10よりも低い周波数を示す動きデータは、フィルターによって排除されてもよい。いくつかの実施の形態では、人間のバイタルサインとしてあり得ないまたは起こりそうにない高周波数の動きを示すRAW波形データを排除するためにバンドパスフィルターが実装されてもよい。たとえば、呼吸数よりも多いことが想定され得る心拍数は、静止またはほぼ静止状態の人の場合、1分あたりの心拍が150回よりも多い可能性は低いであろう。これよりも高い周波数を示すRAW波形データは、バンドパスフィルターによるフィルター処理によって取り除かれてもよい。
いくつかの実施の形態では、動きフィルター411が周波数エンファシス部412に渡すRAW波形データの周波数をさらに細かく調整することが可能であってもよい。たとえば、最初の構成フェーズの間、ユーザは、年齢データなど、モニタリングされるユーザ(たとえば、ユーザ自身、子供)についての情報を提供し得る。表1は、様々な年齢の通常の呼吸数を示す。心拍数についても同様のデータが提示され得る。フィルターは、想定される呼吸数の範囲、心拍数の範囲、またはその両方の範囲以外のデータを排除するように構成され得る。
Figure 2023544245000002
モニタリングされているユーザの計測中のバイタルサインは、次のような周期的なインパルス事象である。ユーザの心拍数は、時間の経過とともに変わり得るが、ユーザの心臓は引き続き周期的に鼓動することが想定できる。この鼓動は、正弦関数ではないが、むしろ、ユーザの体において動きを誘発する比較的低いデューティーサイクルを有する矩形波により類似したインパルス事象として理解されるであろう。同様に、ユーザの呼吸数は、時間の経過とともに変わり得るが、呼吸は、ユーザが息を吐き出すことが息を吸い込むことよりも、通常、長いこと以外は、正弦関数に類似するユーザの体によって行われる周期関数である。さらには、どんなときでも、波形データの特定の窓が解析される。波形データの特定の時間窓が解析されるので、その窓内の完璧な正弦関数であっても、周波数領域においてスペクトル漏れを生じさせる可能性がある。このスペクトル漏れが原因である周波数成分については、強調を抑えればよい。
周波数エンファシス部412は、レンジ-バイタル変換エンジン413と連動して動作し、RAW波形データの1つ(たとえば、呼吸)または2つ(たとえば、呼吸および心拍)の周波数成分を判定し得る。周波数エンファシス部412は、4Dハミング窓(ハン窓などその他の種類のウインドウイングも可能)などの周波数ウインドウイングを用いて、RAW波形データの重要な周波数成分を強調し、規定の周波数窓以外のスペクトル漏れが原因である波形データの強調を抑えるまたは強調を取り除き得る。このような周波数ウインドウイングは、処理アーチファクトが原因である可能性の高いRAW波形データの大きさを小さくし得る。周波数ウインドウイングの使用は、心拍数および呼吸数を別個に判定できるようにすることに関連するデータをデータ保持しつつ、データに依存する処理アーチファクトの影響を抑えることに役立てることができる。
(たとえば、図4Bにおいて放射されているようなレーダーを用いて)呼吸および心拍数を検出するためにモニタリングされている1人以上のユーザの1~2メートル内に配置され得る静止しているベッドわきにあるFMCWレーダーベースのモニタリングデバイスの場合、呼吸については10~60bpm(0.16Hz~1Hz)の範囲内の周波数を強調し、心拍については30~150bpm(0.5~2.5Hz)の範囲内の周波数を強調する2Dハミング窓によって、対象者の年齢や病歴の予備知識を必要としないで信頼性のある計測を行うのに十分に良好な信号が可能になる。
心拍数および呼吸数は周期的なインパルス事象であるため、周波数領域の心拍数、および呼吸数は、それぞれ異なる基本周波数によって表され得るが、各々は、より高い周波数において多くの調和成分を有し得る。周波数エンファシス部412の主な目的の1つは、モニタリングされているユーザの呼吸数の高調波の周波数リップルが、モニタリングされているユーザの心拍数の周波数の計測に影響を与えないようにすることであり得る(またはその逆)。周波数エンファシス部412は2Dハミング窓を用い得るが、モニタリングされているユーザの心拍数の周波数リップルからモニタリングされているユーザの呼吸数の周波数リップルを分離させるのに役立てるためにその他のウインドウイング関数または分離関数を用いることができることを理解されたい。
レンジ-バイタル変換エンジン413は、動きにフィルター処理が行われた受信波形データを解析し、特定の周波数における動きの大きさを特定して定量化する。より特定的には、レンジ-バイタル変換エンジン413は、時間の経過に伴う位相ジッターを解析し、呼吸数および心拍数など、周波数が比較的低いユーザのバイタルサインが原因である比較的細かい動きを検出する。レンジ-バイタル変換エンジン413の解析は、動き波形データの周波数成分が正弦波であると想定し得る。さらには、レンジ-バイタル変換エンジン413が用いる変換により、周波数が観測される距離も特定できる。少なくとも、レーダーサブシステム405がFMCWレーダーシステムを利用するので、周波数、大きさ、および距離のすべてを求めることができる。
レンジ-バイタル変換エンジン413の変換を適用する前に、レンジ-バイタル変換エンジン413によって、動きにフィルター処理が行われたRAW波形データに複数個のゼロを埋めるためのゼロパディング処理が行われ得る。ゼロパディング処理を行うことによって、周波数領域内の分解能を効果的に増やすことができ、より精度が高い低レート計測(たとえば、低い心拍数、低い呼吸数)が可能になる。たとえば、ゼロパディングは、分解能の数値を増やして、ゼロパディングなしの場合の1分あたりの呼吸の分解能と比較した、1分あたりの呼吸の半分の差を検出することに役立つことができる。いくつかの実施の形態では、RAW波形データのバッファリングされたサンプルサイズと比較して3倍~4倍の数のゼロを埋め得る。たとえば、20秒のバッファリングされたRAW波形データを解析する場合、60~80秒分のゼロパディングをサンプルに埋め得る。具体的には、3倍~4倍の範囲のサンプルのゼロパディングが、変換処理を過度に複雑に(すなわち、プロセッサ利用を頻繁に)しないで分解能を実質的に増やすことが分かった。
実行されるゼロパディングの量を決定するために、式1~式3を用い得る。式1では、RPM_resolutionは、理想を言えば、1未満になり得る。
Figure 2023544245000003
Figure 2023544245000004
いくつかの実施の形態では、30Hzのチャープレート(chirp_rate)が用いられ得る。このような周波数は、呼吸数および心拍数の上限値のナイキストリミットから十分なゆとりがあるであろう。そのため、n_FFT_slow_time_minは、2048であり得る。呼吸統計データを推定するための窓が20秒である場合、式3の結果は、600という値になる。
Figure 2023544245000005
この600という値は、必要なバイタル-FFTサイズよりも小さい値であり、レンジ-バイタル変換エンジン413に3倍~4倍のゼロパディングを実行させる。ゼロパディングをどの程度行うかについてのバランスは、周波数分解能を増やすことと、それに関連するFFTを実行するために必要な計算量の増加に基づき得る。3倍~4倍のゼロパディングは、実行する必要のある計算の量を控えつつ、心拍数および呼吸数にとって十分な分解能を提供できることがわかった。
レンジ-バイタル変換エンジン413は、一連のフーリエ変換(FT)を実行し、周波数エンファシス部412が出力した受信RAW波形データの周波数成分を判定できる。具体的には、一連のFFT(高速フーリエ変換)は、レンジ-バイタル変換エンジン413によって実行され、特定の周波数、およびこのような周波数における波形データの大きさが判定され得る。
一定時間にわたって取得された波形データは、複数の次元で表すことができる。第1次元(たとえば、Y軸に沿う)は、特定のチャープからの波形データの複数のサンプルに関する次元であり得、第2次元(たとえば、X軸に沿う)は、複数のチャープをまたいで集められた波形データの特定のサンプルインデックスに関する次元である。波形データの強度を示すデータの第3次元(たとえば、Z軸に沿う)が存在する。
波形データの第1次元および第2次元に基づいて、複数のFFTを実行し得る。第1次元および第2次元の各々に沿ってFFTを実行し得る:チャープごとに1つのFFTを実行し得、一定期間の間に生じた複数のチャープをまたがる特定のサンプルインデックスごとに1つのFFTを実行し得る。特定の反射チャープの波形データに対して実行されるFFTは、1つ以上の周波数を示し得る。これらの1つ以上の周波数は、FMCWレーダーでは、放射された電波を反射した物体が存在する距離を示す。複数のチャープにまたがる特定のサンプルインデックスについて実行されるFFTは、当該複数のチャープにまたがる位相ジッターの周波数を計測できる。そのため、第1次元のFFTは、バイタル統計が存在する距離を提供でき、第2次元のFFTは、バイタル統計の周波数を提供できる。これら2つの次元にまたがって実行されるFFTの出力は、(1)バイタル統計の周波数、(2)バイタル統計が計測された帯域、および(3)計測された周波数の大きさを示す。データにバイタル統計が存在していることが原因の値に加えて、ノイズが存在し得る。このノイズは、スペクトル加算エンジン415を用いるなどしてフィルター処理される。ノイズは、心拍数および呼吸が完全な正弦波でないことが一部の原因である可能性がある。
明確に言うと、レンジ-バイタル変換エンジン413が実行する変換は、レンジドップラー変換とは異なる。速度変化を解析する(レンジドップラー変換のように)のではなく、レンジ-バイタル変換の一部として、時間の経過に伴う位相変動の周期的変化が解析される。レンジ-バイタル変換は、位相ジッターと称される位相変化をトラッキングすることによって、比較的長期間にわたって生じている細かい動き(たとえば、呼吸、心拍数)を識別するように調整される。詳細を前述したように、心拍数および呼吸数を精度高く判定するために十分な分解能を可能にするゼロパディングが実行される。
レンジゲートフィルター414を用いて、対象の規定範囲をモニタリングし、対象の規定範囲(レンジ)を超えた動きが原因である波形データを排除する。本明細書において詳細に説明されている配置の場合、対象の規定範囲は、0~1メートルであり得る。いくつかの実施の形態では、この対象の規定範囲は、異なってもよく、場合によってはユーザ(たとえば、訓練またはセットアップ処理を介して)もしくはサービスプロバイダによって設定されてもよい。いくつかの実施の形態では、この配置にする目的は、デバイスに最も近い1人をモニタリングすることであってもよい(そして、モニタリングされている人の隣で寝ている人など、さらに離れたところにいる他の人のデータは排除または分離する)。その他の実施の形態では、両方の人がモニタリングされている場合、図12に関連して詳細を説明するように、データが分離されてもよい。そのため、レンジ-バイタル変換エンジン413およびレンジゲートフィルター414は、対象の規定範囲外の物体に起因する動きデータを分離、排除、または除去し、対象の規定範囲内の物体に起因する動きデータのエネルギーを合計する役割を果たす。レンジゲートフィルター414の出力は、レンジゲートフィルター414の許容範囲内に判定された範囲を有するデータを含み得る。このデータは、周波数次元と大きさとをさらに有してもよい。そのため、データには、3つの次元があってもよい。
スペクトル加算エンジン415は、レンジゲートフィルター414からの出力を受信し得る。スペクトル加算エンジン415は、心拍数および呼吸数の高調波周波数の計測エネルギーを転送し、基本周波数のエネルギーに高調波周波数のエネルギーを加算するように機能し得る。この機能は、HSS(Harmonic Sum Spectrum)と称される場合がある。心拍数および呼吸数は正弦波ではないため、周波数領域において、高調波は、ユーザの呼吸数の基本周波数およびユーザの心拍数の基本周波数よりも高い周波数において存在することになる。スペクトル加算エンジン415の主な目的の1つは、モニタリングされているユーザの呼吸数の高調波が、モニタリングされているユーザの心拍数の周波数の計測に影響を与えないようにすることである(またはその逆)。元のスペクトルと、(2分の1に)ダウンサンプリングされた当該スペクトルのインスタンスとを加算することによって、HSSを二次で実行してもよい。また、この処理は、それぞれのスペクトルが基本周波数のスペクトルに追加されるよう、高次高調波で適用されてもよい。
このステージでは、ベッドで動かずに横たわっている人(呼吸および心拍が原因である動きを除く)の場合、2つの大きな周波数ピークが周波数データに現れることが予想される。しかしながら、ベッドで寝返りを打つなど、モニタリングされているユーザの身体が動いている場合、エネルギーは、周波数スペクトル全体にかなり分散され得る(より広い分散)。このような大きな身体の動きは、多数の小さいピークとして周波数データに現れ得る。ベッドに人が存在しておらず誰もいない場合、静的な物体に対応するRAW波形データを動きフィルター411が予めフィルター処理済みであるので、ノイズフロアよりも高い周波数成分はない、または、ほぼないであろう。スペクトルにまたがる周波数ピークの分散および大きさを用いて、ユーザが起きている可能性が高いか睡眠中である可能性が高いかを判断し得る。
スペクトル加算エンジン415は、心拍数(たとえば、1分あたりの心拍数で表される)および呼吸数(たとえば、1分あたりの呼吸数で表される)を示す特徴量ベクトルを出力し得る。特徴量ベクトルは、周波数および大きさを示すことができる。ニューラルネットワーク416を用いて、スペクトル加算エンジン415からの特徴量ベクトルの出力において示されている心拍数および/または呼吸数を有効であると考えるかどうかを判断し得る。そのため、スペクトル加算エンジン415が出力する心拍数および呼吸数は、ニューラルネットワーク416の出力に基づいて格納される、ユーザに提示される、および/または、有効であるとみなされ得る。ニューラルネットワーク416は、(たとえば、訓練データセットを用いて実行される教師あり学習を用いて)スペクトル解析を行うことによって表2に示すような3つの状態のうち1つの状態を出力するように訓練され得る。ユーザが存在すると判断され、かつ、検出された動きがユーザのバイタルサインが原因である動きである場合、バイタル統計データは有効であると考えられ得る。
表2にある各状態は、異なるスペクトルエネルギーおよび異なるスペクトルスパース性プロファイルに対応付けられている。スペクトルエネルギーは、モニタリング領域内に動きが存在していることが原因で検出された周波数スペクトル全体のエネルギーの合計を指す。スペクトルスパース性は、動きが幅広い数の周波数にわたって分散される傾向があるのか、少数の特定の周波数において集められる傾向があるのかを表す。たとえば、ユーザのバイタルサインが検出された(しかし、その他の動きは検出されない)場合など、ほとんどの周波数においてエネルギーピークが発生しない場合、スペクトルスパース性は高い。しかしながら、ピーク(しきい値を超える)またはしきい値基準に基づくその他の判定形式(少なくとも大きさに一部基づく)が多くの周波数において発生した場合、スペクトルスパース性は低い。
例として、心拍など、バイタルサインが原因である動きは、特定の周波数(たとえば、高スペクトルスパース性)における著しい動き(たとえば、高スペクトルエネルギー)を示し得、ユーザが手足のどれかを動かしていることが原因である動きは、著しい動き(高スペクトルエネルギー)を示し得るが、スペクトルスパース性は低いであろう。ニューラルネットワークは、スペクトル加算エンジン415が出力するスペクトルエネルギープロファイルに基づいて各状態を区別するように訓練され得る。そのため、ニューラルネットワーク416には、スペクトルエネルギーを表す第1の値と、スペクトルスパース性を表す第2の値という2つの特徴が提供され得る。
スペクトル加算エンジン415の出力は、第1次元が周波数であり第2次元が振幅である特徴量ベクトルとして特徴付けられ得る。スペクトルエネルギーを表す第1の値は、スペクトル加算エンジン415が出力した特徴量ベクトルに存在する最大振幅を求めることによって算出され得る。この最大振幅値は、0~1内の値に正規化され得る。スペクトルスパース性を表す第2の値は、特徴量ベクトルの中間振幅を最大振幅から除算ことによって算出され得る。ここでも、算出されたスパース性は、0~1内の値に正規化され得る。
表2は、スペクトルエネルギーの特徴量およびスペクトルスパース性の特徴量が、モニタリング領域の状態を分類するために訓練済みニューラルネットワークによって特徴量としてどのように使われるかを一般化したものを表す。
Figure 2023544245000006
ニューラルネットワーク416によって分類されるモニタリング領域の状態は、モニタリングされているユーザの睡眠状態、より一般には、ユーザがベッド内で動いているか静止しているかを判断する際に利用され得る。実行されたニューラルネットワーク416の分類によって判断されたモニタリング領域の状態をさらに利用して、スペクトル加算エンジン415が出力するバイタル統計が信用できるデータであるか無視すべきデータであるかが判断され得る。バイタル統計が精度高く判断された場合、ユーザが存在しており静止している(すなわち、大きな身体の動きはないが、呼吸および/または心拍が原因である動きが生じている)とニューラルネットワーク416が判断したときに、心拍数および呼吸数の精度が高い可能性が高いと識別され得る。いくつかの実施の形態では、スペクトル加算エンジン415が出力するバイタル統計は、ローカルにのみ格納され得る(たとえば、プライバシーの不安を軽減させるために)。その他の実施の形態では、出力されたバイタル統計は、遠隔に格納するためにクラウドベースのサーバシステム370に送信されてもよい(このようなデータがローカルに格納されることに代わってまたはそれに加えて)。
ニューラルネットワーク416は、先ず、モニタリング領域の対応するグランドトゥルース状態にスペクトルエネルギーおよびスペクトルスパース性をマッピングするとの分類に適切にタグされた振幅および周波数の特徴量ベクトルからなる大きな訓練データセットを用いて訓練され得る。これに代えて、ニューラルネットワーク416は、先ず、モニタリング領域の対応するグランドトゥルース状態に適切に各々がタグされた構成するスペクトルエネルギーとスペクトルスパース性とのペアをマッピングする、と適切に分類された振幅および周波数の特徴量ベクトルからなる大きな訓練データセットを用いて訓練され得る。ニューラルネットワークは、時間依存ではない全結合ニューラルネットワークであり得る。いくつかの実施の形態では、機械学習調整、分類器、または、ニューラルネットワーク以外の人工知能の形態が用いられてもよい。
その他の実施の形態では、スペクトルエネルギーの値およびスペクトルスパース性の値が特徴量としてニューラルネットワークによって利用されるのではなく、追加のフロントエンド畳み込み層を有する(場合によっては)ニューラルネットワークを、レンジゲートフィルター414の出力を直接使用するように訓練できる。むしろ、畳み込みネットワークの実施の形態は、レンジゲートフィルター414が出力する周波数および大きさのデータを解析し、ユーザの状態を分類できる。システム400Aがエンドユーザによって利用される前にモニタリング領域のグランドトゥルース状態にマッピングされたスペクトル計測値のセットに基づくオフライン訓練を利用するよう、畳み込みニューラルネットワークを訓練してもよい。
ニューラルネットワーク416によって判断された睡眠状態は、時間データとともに、データストレージ318に格納され得る。モニタリングされているユーザが存在しており静止しているとニューラルネットワーク416が示す場合、スペクトル加算エンジン415が出力するバイタル統計は、バイタル統計ストアに格納できる。その他のバイタル統計データは、破棄されてもよく、場合によっては、正確なデータある可能性が低いことを示すフラグが立てられてもよい。データストレージ318およびバイタル統計ストアに格納されるデータは、デバイス301においてローカルに格納されてもよい。いくつかの実施の形態では、デバイス301にのみ格納される。このような実装は、健康関連データが送信されて遠隔で格納されることについての不安を軽減させるのに役立ち得る。いくつかの実施の形態では、モニタリングされているユーザは、睡眠データおよびバイタル統計データを、ネットワークインタフェース(たとえば、ワイヤレスネットワークインタフェース350)を介して送信させ、クラウドベースのサーバシステム370などによって外部で格納および解析させることを選んでもよい。クラウドベースのサーバシステム370による格納は、ユーザがこのようなデータに遠隔でアクセスできる機能、医療従事者がアクセスできる機能、調査研究に参加できる機能など、かなりのメリットがあるであろう。ユーザは、クラウドベースのサーバシステム370からデータをいつでも削除できる機能、そうでない場合、移動できる機能を保持し得る。
いくつかの実施の形態では、レーダー処理モジュール410のすべてまたは一部は、デバイス301から遠隔の場所に位置してもよい。レーダーサブシステム405は、ユーザをモニタリングするためにローカルである必要があり得るが、レーダー処理モジュール410の処理は、クラウドベースのサーバシステム370に移動されてもよい。その他の実施の形態では、デバイス301と(たとえば、LANまたはWLANを経由して)ローカル通信しているスマートホームデバイスが、レーダー処理モジュール410の処理の一部またはすべてを行ってもよい。いくつかの実施の形態では、RAW波形データを、処理を行うローカルデバイスに送信するためにメッシュネットワークを含むなどするローカル通信プロトコルを利用できる。このような通信プロトコルは、Wi-Fi、Bluetooth(登録商標)、Thread、またはIEEE802.11および802.15.4ファミリーの通信プロトコルを含み得る。この処理と同様に、クラウドベースのサーバシステム370、またはデバイス301が置かれている自宅にある別のスマートホームデバイスに、睡眠データおよびバイタル統計データが格納され得る。さらに別の実施の形態では、1つの構成要素、または複数の構成要素からなる1つのシステムとして、レーダー処理モジュール410をレーダーサブシステム405と組み合わせてもよい。
データストレージ318に格納されている睡眠データと、バイタル統計データとを用いて、睡眠データ集計エンジン319によるユーザの睡眠パターン、バイタル統計、またはその両方に関する短期的傾向と長期的傾向とをユーザに提供し得る。たとえば、毎朝、データストレージ318に格納されるデータ基づいて、グラフ、統計データ、および傾向が睡眠データ集計エンジン319によって判定され、睡眠データ集計エンジン319によってディスプレイ340を介して表示するために出力され得る。前日の夜の睡眠データを示すグラフと、場合によっては、前日の夜の呼吸数および心拍数を示す1つ以上のグラフとが提示され得る。睡眠データ集計エンジン319によって、数週間、数ヶ月、数年、さらには複数年にまたがる長期間など、かなり長い期間の同様のグラフ、傾向、および統計データが出力され得る。睡眠データおよびバイタル統計のその他の使用法も可能である。たとえば、心拍数、呼吸数、および/または睡眠パターンに関連する特定のトリガーが引き起こされた場合、医療従事者への通知が行われてもよい。これに加えてまたはこれに代えて、収集されたデータに懸念要素があることを示す通知、または健康な人を示す通知がユーザに出力されてもよい。場合によっては、睡眠時無呼吸など、特定の睡眠障害が特定されてもよい。睡眠データは、(たとえば、ユーザが起床したことに応答して、発話されたユーザコマンドに応答して、または、ユーザがディスプレイ340などのタッチスクリーンを介した入力を行ったことに応答して)合成音声を用いてスピーカー355を介して出力され得る。このような睡眠データは、図およびまたは文字によってディスプレイ340上に表され得る。
システム400Aは、ビームステアリングモジュール430をさらに備え得る。ビームステアリングモジュール430は、チャネル重み付けエンジン431を備え得る。チャネル重み付けエンジン431は、ソフトウェア、ファームウェア、および/またはハードウェアを用いて、レーダー処理モジュール410の構成要素と同様に実装され得る。ビームステアリングモジュール430は、レーダーサブシステム405から受信したデータを処理して、特定の方向から受信したデータを強調し、その他の方向から受信したデータの強調を抑えるため、レーダー処理モジュール410とは別個に図示されている。ビームステアリングモジュール430は、レーダー処理モジュール410と同じハードウェアを用いて実装され得る。たとえば、ビームステアリングモジュール430は、レーダーサブシステム405から受信したレーダーデータを、動きフィルター411が適用される前に変更するソフトウェア処理であり得る。デバイス301は、表面が上を向いたデバイスであり得、特定の場所に置かれ、連続した電源供給(たとえば、家庭用電気コンセント)に接続され、音声および/またはタッチスクリーンを介して対話されることが意図される。そのため、レーダーサブシステム405は、かなりの期間(たとえば、数時間、数日、数週間、数ヶ月)、周囲の環境の一部に向けられたままであり得る。一般に言うと、ビームステアリングモジュール430を用いて、デバイス301が位置する環境(たとえば、部屋)をマッピングし、ユーザが存在している可能性が最も高いレーダーサブシステム405の視野内のゾーンにレーダーサブシステム405のセンシング方向をステアリングし得る。
レーダーサブシステム405の視野内の領域に照準を合わせることは、ユーザ以外の物体が動くことによって生じるフォールスネガティブおよびフォールスポジティブの量を減らすのに役立ち得る。さらには、照準を合わせることは、ユーザが睡眠する場所に対するデバイス301の角度および位置を補償するのに役立ち得る。(たとえば、ユーザのベッドの高さとは異なる高さのサイドテーブルにデバイス301が置かれている場合がある。これに加えてまたはこれに代えて、ベッドにおけるユーザが睡眠する場所にレーダーサブシステム405デバイス301が直接向けられていない場合がある。)
表2のスペクトルエネルギーが低くかつスペクトル濃度が低いことに基づくなどして、ユーザが存在しないと判断された場合、最適なビームステアリング処理が、チャネル重み付けエンジン431およびビームステアリングシステム432によって行われ得る。ユーザは存在しないが、レーダーサブシステム405をどの方向に位置合わせすればクラッターが最小になるかを判断する解析を行うことができる。
図4Bは、レーダーサブシステムが出力する周波数変調された連続波(FMCW)レーダー電波のチャープタイミング図400Bの実施の形態を示す図である。チャープタイミング図400Bは、縮尺通りではない。レーダーサブシステム405は、概して、チャープタイミング図400Bのパターンでレーダーを出力し得る。チャープ450は、周波数が低周波数から高周波数に増加(sweep up)する電波から構成される連続パルスを表す。その他の実施の形態では、個々のチャープは、高周波数から低周波数に連続して減少(sweep down)し、低周波数から高周波数に増加して低周波数に戻り得、または、高周波数から低周波数に減少して高周波数に戻り得る(このような周波数の場合、電波は、ミリ波と称される場合がある。)。いくつかの実施の形態では、低周波数は、58GHzであり、高周波数は、63.5GHzである。いくつかの実施の形態では、これらの周波数は、57~64GHzの間である。低周波数および高周波数は、実施の形態によって異なり得る。たとえば、低周波数および高周波数は、45GHz~80GHzの間であり得る。周波数は、少なくとも政府規制に準拠して選択され得る。いくつかの実施の形態では、各チャープは、低周波数から高周波数への直線的なスイープを含む(またはその逆)。その他の実施の形態では、指数関数的なパターンまたはその他のパターンを用いて、周波数を低周波数から高周波数へ、または高周波数から低周波数にスイープさせてもよい。
チャープ450(チャープタイミング図400Bにあるすべてのチャープを表し得る)は、128μsのチャープ期間452を有し得る。その他の実施の形態では、チャープ期間452は、30μs~600μsの間など、さらに長くてもよく、さらに短くてもよい。いくつかの実施の形態では、後続チャープが放射される前に一定時間が経過してもよい。チャープ間休止期間456は、205.33μsであり得る。その他の実施の形態では、チャープ間休止期間456は、10μs~1msの間など、さらに長くてもよく、さらに短くてもよい。図示した実施の形態では、チャープ450と、チャープ間休止期間456とを含むチャープ期間454は、333.33μsであってもよく、500μsであってもよい。この期間は、選択されたチャープ期間452およびチャープ間休止期間456に基づいて異なる。
出力されて、チャープ間休止期間によって分離される複数のチャープは、バースト458またはフレーム458と称される場合がある。フレーム458は、20個のチャープを含み得る。その他の実施の形態では、1つのフレーム458にあるチャープの数は、1~100の間など、さらに多くてもよく、さらに少なくてもよい。フレーム458内に存在するチャープの数は、放射される平均電力に基づいて決められ得る。環境に向けて平均して放射可能な範囲の電力最大量は、FCCまたはその他の規制当局によって設定され得る。たとえば、33msの期間に対してデューティーサイクルを10%未満に制限するデューティーサイクル要件が存在してもよい。フレームあたり20個のチャープが存在する1つの特定の例では、各チャープの期間は、128μsであり得、各フレームの期間は33.33msである。対応するデューティーサイクルは、(20フレーム)×(.128ms)/(33.33ms)であり、約7.8%である。フレーム間休止期間よりも前のフレーム458内のチャープの数を制限することによって、出力される総電力量が制限されてもよい。いくつかの実施の形態では、ピークEIRP(実効等方放射電力)は、12.86dBm(19.05mW)など、13dBm(20mW)以下であり得る。その他の実施の形態では、ピークEIRPは、15dBm以下であり、デューティーサイクルは、15%以下である。いくつかの実施の形態では、ピークEIRPは、20dBm以下である。すなわち、どんなときでも、レーダーサブシステムが放射する平均電力量がこれらの値を上回ることはないであろう。さらには、一定時間の間に放射される総電力量は、制限される場合がある。いくつかの実施の形態では、デューティーサイクルは必要ではない場合がある。
期間460によって示されているように、フレームは、30Hz(33.33ms)の周波数で送信され得る。その他の実施の形態では、周波数は、これよりも高くてもよく、これよりも低くてもよい。フレーム周波数は、1つのフレーム内のチャープの数、およびフレーム間休止期間462の長さによって異なり得る。たとえば、周波数は、1Hz~50Hzの間であり得る。いくつかの実施の形態では、チャープは、連続して送信され得、チャープ間休止期間が挿入された複数のチャープから構成される1つの連続ストリームをレーダーサブシステムが出力する。デバイスが消費する平均電力を抑えるために、チャープを送信することと、受信したチャープの反射を処理することとが天秤に掛けられ得る。フレーム間休止期間462は、チャープが出力されない一定時間を表す。いくつかの実施の形態では、フレーム間休止期間462は、フレーム458の期間よりもはるかに長い。たとえば、フレーム458の期間は6.66msであり得る(チャープ期間454は333.33μsであり、フレームあたりのチャープの数は20個)。フレーム間に33.33msの期間がある場合、フレーム間休止期間462は、26.66msであり得る。その他の実施の形態では、フレーム間休止期間462の長さは、15ms~40msの間など、さらに長くてもよく、さらに短くてもよい。
図4Bの図示した実施の形態では、1つのフレーム458と、後続フレームの開始が図示されている。後続フレームの各々は、フレーム458と同様の構造にできることを理解されたい。さらには、レーダーサブシステムの送信モードは、固定されてもよい。すなわち、チャープは、ユーザが存在しているか存在していないか、時刻、またはその他の要因に関わらず、チャープタイミング図400Bに従って送信され得る。そのため、いくつかの実施の形態では、レーダーサブシステムは、環境の状態やモニタリングされるアクティビティに関わらず、常に1つの送信モードで動作する。デバイス301の電源がオンの間に、フレーム458と同様の連続したフレームの連なりが送信され得る。
図5Aは、非接触ヘルスモニタリングシステムの一部として使用され得る位相キャプチャモジュール500Aの実施の形態を示す。位相キャプチャモジュール500Aは、非接触ヘルスモニタリングシステム500Bの一部として使用され得る。位相キャプチャモジュール500Aは、レーダー処理モジュール410の実施の形態の変形例を表し得る。位相キャプチャモジュール500Aは、動きフィルター411と、周波数エンファシス部412と、位相解析エンジン502とを備え得る。これらの構成要素の各々は、汎用または専用のプロセッサ(または、複数のプロセッサ)によって実行されるソフトウェア処理を用いて実装され得る。位相キャプチャモジュール501の機能を実行するように専用ハードウェアを実装してもよい。動きフィルター411および周波数エンファシス部412は、図4Aのレーダー処理モジュール410に関連して詳細を説明するように機能できる。位相キャプチャモジュール500Aの場合、呼吸に起因する周波数成分を強調する(場合によっては、心拍数に関する周波数の強調を抑える)ように周波数エンファシス部412を構成できる。
位相解析エンジン502は、概して、ビームステアリングモジュールが出力した特定の反射レーダーチャープに関する波形データに存在する位相の瞬間的表示を出力する役割を果たし得る。位相解析エンジン502が受信する波形データに対してFFT(高速フーリエ変換)を実行して、反射チャープの周波数成分ごとの(絶対位相値に対する)位相値および大きさを判定できる。波形データにある反射チャープごとに、位相解析エンジン502は、周波数、周波数が検出された距離、周波数成分の位相、および周波数成分の大きさを示すデータを出力する。
レーダーサブシステム405は、受信した反射波形データをデジタル波形データに変換するために、ADC(Analog To Digital Converter)を備え得る。(また、FMCWは、受信した反射された波形を送信された波形と混合させる混合処理を、アナログからデジタルへの変換前に含み得る。)すべてのADCが有限分解能を有しているので、ターゲットである移動体(たとえば、ユーザの胸部)までの距離を、ADCが出力するデジタルデータにおいて観察可能になるような位相変化を生じさせるのに十分な程度に変更する必要があり得る。式2は、位相に対して移動体が有する距離の効果を示す。
Figure 2023544245000007
式4では、FMCWの場合、fは、チャープの最低周波数を表し、fは、チャープの最高周波数を表し、cは、光の速度を表し、Rは、レーダーセンサーから移動体までの範囲(距離)を表す。Tchirpは、1つの放射されたチャープの秒単位の長さを表す。図4Bに関連して詳細を説明するようなチャープに用いられる周波数帯域でのRの比較的小さい変化(呼吸中のユーザの胸部の動きが原因であるなど)は、デジタル波形データの一部としてADCが出力するデジタルデータにおいて検出されるのに十分な位相変化をもたらす。そのため、式4から、呼吸が原因であるユーザの胸部の変位を、位相を利用して精度高く計測できることが確認される。
図5Bは、複数の空間ゾーンをモニタリングする非接触ヘルスモニタリングシステム500B(「システム500B」)の実施の形態を示す図である。システム500Bは、システム400Aと同じレーダーサブシステム405の出力を利用できる。構成要素516は、図3の呼吸モニタエンジン316に対応し得る。いくつかの実施の形態では、1つ以上のプロセッサを用いて構成要素516が起動されて実行される前に、ユーザは、少なくとも一定時間またはその他の時間ベースの基準、ベッドにいて動いていないと判断される。構成要素516は、専用のソフトウェアを実行する1つ以上の汎用プロセッサを用いて実行され得る。その他の実施の形態では、1つ以上の専用のプロセッサがシステム500Bの機能を実行するように構成されてもよい。
モニタリングされる各空間ゾーンは、図2の空間ゾーン220など、照準が合わせられているユーザの胸部の異なる部分に対応し得る。システム500Bは、レーダーサブシステム405と、ビームステアリングモジュール430と、位相キャプチャモジュール501と、レーダー位相処理モジュール510と、特徴量バンドルコンパイラ520と、機械学習モデル540とを備え得る。
レーダーサブシステム405は、図4Aに関連して詳細を説明したように機能する。レーダーサブシステム405は、反射したレーダーチャープを受信するために使われる複数のアンテナを備える。レーダーサブシステム405の受信アンテナごとに、別個の波形データが出力される。図4Aでは、1つのビームステアリングモジュール430が存在している。1つのビームステアリングモジュールが存在していることによって、1つの方向に照準が合わせら得る。ビームステアリングモジュール430は、ユーザの胸部を含む全体空間ゾーンを決める。全体空間ゾーンが決められると、この領域は、全体空間ゾーン内の複数の空間ゾーンに向けてビームステアリングを行うことによってさらに細かくパースされ得る。一方で、複数の受信側デジタルビームステアリングモジュール530がシステム500に存在する。これらのビームステアリングモジュールの各々は、ビームステアリングモジュール430に関連して詳細を説明したように機能し得る。ビームステアリングモジュール530の各々は、ユーザの胸部のそれぞれ異なる部分に向けてビームステアリングを行うために、それぞれ異なる重み付けを使用し得る。たとえば、図2を参照すると、ビームステアリングモジュール530-1は、空間ゾーン220-1に焦点を当てる重み付けを使用し得、ビームステアリングモジュール530-2は、空間ゾーン220-2に焦点を当てる異なる重み付けを使用し得る、などであり得る。実施の形態によっては、2つ、3つ、4つ、5つ、またはそれ以上の数の照準合せモジュールなど、様々な数のビームステアリングモジュール530が存在する。
各ビームステアリングモジュール530は、レーダーサブシステム405から同じ波形データを受信する。そのため、特定の受信した反射チャープについて、ビームステアリングモジュール530の各ビームステアリングモジュールは、異なる空間ゾーンに照準を合わせる。レーダーサブシステム405からの同じ波形データに基づいて各ビームステアリングモジュール530が動作することによって、ビームステアリングモジュール530が出力するビームステアリングされた波形データは、同じ時点に対応する。図6および図8は、ビームステアリングモジュール530がどのように実装され得るかについての様々な実施の形態を示す図である。
ユーザの胸部への全体方向を決定するためにビームステアリングモジュール430が用いられた。この方向は、ユーザの胸部の異なる部分に対応する様々な空間領域への方向を決定するための基準線として機能できる。ビームステアリングモジュール430がユーザのバイタルサインの最も強い計測値をもたらす方向を決定したあと、この方向は、固定角度または可変角度ごとに横方向に増やされて、モニタリングされる各空間ゾーンが得られ得る。チャネル重み付けエンジン431が決定したチャネル重み付け、およびユーザの胸部の中心に対して特定の空間ゾーンが角度を有する所望の角度に基づいて、ビームステアリングモジュール530の各々によって重み付けが決定され得る。ビームステアリングモジュール530の数が多いほど、空間ゾーン間に存在する角度は小さくなり得る。
ユーザの胸部のそれぞれ異なる重なり合う領域またはそれぞれ異なる重なり合わない領域に対応する特定の空間ゾーンに照準を合わせるために、ビームステアリングモジュール530の各々が出力する波形データが重み付けされる。その後、ビームステアリングモジュール530が出力する加重波形データを、別個の位相キャプチャモジュール501を用いて処理する。位相キャプチャモジュール501の各々は、図5Aの位相キャプチャモジュール500Aに関連して詳細を説明したように機能する。位相キャプチャモジュール501の各位相キャプチャモジュールがユーザの胸部の異なる空間領域に向けてステアリングされるので、位相キャプチャモジュール501の各々が出力する位相値、周波数値、および大きさ値は、ユーザの胸部の特定の領域に対応する。位相キャプチャモジュール501の各々は、レーダー位相処理モジュール510のうち対応するレーダー位相処理モジュールに、受信した反射チャープごとの位相、大きさ、および周波数の表示を出力する。
レーダー位相処理モジュール510の各々は、複数の構成要素を備え得る。例として、位相セレクタ511-1および位相アンラッパー(unwrapper)512-1がレーダー位相処理モジュール510-1の構成要素として示されている。その他のレーダー位相処理モジュール510の各々も、同様の構成要素を有し得るが、わかりやすくするために図示していない。
位相セレクタ511-1など、位相セレクタ511の各々は、モニタリングされている空間ゾーンにおけるユーザの呼吸に対応すると想定される位相成分を選択する役割を果たし得る。位相キャプチャモジュール501-1から受信した周波数スペクトルデータに基づいて、位相セレクタ511-1は、存在する大きさが最大の周波数信号を判定する。ユーザは(たとえば、ニューラルネットワーク416によって)動いていないとすでに判断されているので、環境ではその他の動きがなく、フィルター処理がすでに実行されて呼吸に対応する特定の距離範囲内の周波数が強調されており、大きさが最大の周波数成分は、ユーザの呼吸に起因する周波数成分であると想定できる。この大きさが最大の周波数成分位相は、位相セレクタ511-1によって決定され、その他のデータは破棄できる。そのため、位相セレクタ511-1の出力は、-π~π(または、0~2π)の間の位相値であり得る。複数のチャープに対応する波形データが処理されると、位相セレクタ511-1が出力する位相値は、大きくなるまたは小さくなることが想定できる。
その他のレーダー処理モジュール510の位相セレクタも同様に機能する。その他のレーダー処理モジュール510の位相セレクタが出力する位相値は、モニタリングされているユーザの胸部の特定の空間領域に対応する位相に対応すると想定できる。ユーザの胸部の動きが大きいほど、時間の経過に伴う位相変化において観測されると想定できる変化は大きい。
レーダー位相処理モジュール510の各レーダー位相処理モジュールは、位相アンラッパー512-2など、位相アンラッパーを備えることができる。ユーザの胸部は1つの波長よりも大きく上がったり下がったりし得るので、位相ラッピングが生じ得る。位相アンラッパー512は、1つの波長を超える位相変化をはっきりとさせる役割を果たし得る。位相セレクタ511-1からチャープごとに出力される瞬間的位相値に対して様々な位相アンラップアルゴリズムが用いられ得る。たとえば、位相アンラッパー512がイトウのサンプルバイサンプル位相アンラップアルゴリズムを使用して、-πおよびπ(または0および2π)で表される1つの波長の範囲を超え得る位相が取得され得る。そのため、位相アンラッパー512-1の出力は、1つの波長よりも大きい可能性がある位相値であり、距離における1つの波長よりも大きいユーザの胸部の動きを考慮し得る。位相アンラッパー512-1が出力する位相値は、特徴量バンドルコンパイラ520に供給され得る。
特徴量バンドルコンパイラ520は、モニタリングされている空間領域ごとに、アンラップされた位相値を受信する。モニタリングされている空間領域の数は、特徴量バンドルコンパイラ520が受信する位相データの次元の数に対応する。次元ごとに、アンラップされた位相値は、一定時間バッファリングされ、時間の経過(たとえば、5秒、10秒など)に伴う位相を示す信号を作成する。そのため、図示した例では、4つの領域についての位相値が特徴量バンドルコンパイラ520によって受信されるが、その他の実施の形態の場合、特徴量バンドルコンパイラ520によってこれよりも少ない数またはより多い数の次元が受信されてもよい。
特徴量バンドルコンパイラ520は、それぞれ異なる空間領域間の相対的な位相オフセットを判断できる。受信した位相データの各次元に対して、特徴量バンドルコンパイラ520は、FFTを実行できる。各FFTの出力は、周波数、大きさ、および位相であり得る。次元ごとに、特徴量バンドルコンパイラ520は、大きさと位相とを示すフェイザーを作成する。特徴量バンドルコンパイラ520によって次元ごとに作成されたフェイザーは、機械学習モデル540に送られて、機械学習モデル540による分類を実行するために使われる特徴量として機能する。
機械学習モデル540は、特徴量バンドルコンパイラ520が作成した次元ごとのフェイザーを受信できる。機械学習モデル540は、フィードフォワードニューラルネットワーク分類器などのニューラルネットワークであり得、3つの層を有し得る。機械学習モデル540は、フェイザーからなるバンドルを受信できる。各フェイザーは、大きさと位相とを示す。上位では、大きさがかなりあるが位相がかなり異なるフェイザーをバンドルが含む状況を、機械学習モデル540が特定し得る。たとえば、2つのベクトル(各々は、ユーザの胸部の異なる空間ゾーンに対応する)は、大きさがかなりあり、位相が逆またはほぼ逆であり得る。この状況は、奇異呼吸を示している可能性がある。
機械学習モデル540を訓練するために、トゥルースがタグ付けされたフェイザーのバンドルセットが作成され得る。トゥルースがタグ付けされたフェイザーのバンドルセットでは、奇異呼吸など、既知の呼吸状態があるユーザおよび異常な呼吸状態がない人のバンドルが作成される。このような訓練データに基づいて、このようなトゥルースがタグ付けされた訓練データに基づいた分類を行うよう、ニューラルネットワークまたはその他の形式の機械学習モードを訓練できる。いくつかの実施の形態では、2種類以上の機械学習モジュールが存在し、複数種類の呼吸異常のモニタリングを可能にする。
機械学習モデル540が出力する分類は、呼吸データ出力エンジン319に提供され得、データストレージ318を用いて格納され得、および/またはクラウドベースのサーバシステム370によって格納され得る。異常な呼吸状態という分類が機械学習モデル540によって出力された場合、このようなデータは、格納され得る。朝など、ユーザが起きていると判断された場合、ユーザは異常な呼吸状態について医療従事者による検査を受けるべきであると示す情報が提示され得る。いくつかの実施の形態では、呼吸データ出力エンジン319は、奇異呼吸など、特定の種類の異常な呼吸状態が存在していると思われることを示す。いくつかの実施の形態では、呼吸データ出力エンジン319は、合成音声を用いて、検出された異常な呼吸状態を示す。異常な呼吸状態が検出されていた期間、異常な呼吸状態の深刻度、何日間異常な呼吸状態が検出されたかなど、その他のデータがユーザに提供され得る。
図6は、睡眠トラッキングおよび/または呼吸モニタリングが行われる方向に照準を合わせるためのビームステアリングモジュール610の実施の形態600を示す図である。ビームステアリングモジュール610は、ビームステアリングモジュール430またはビームステアリングモジュール530の実施の形態を表し得る。一般に、ビームステアリングモジュール610は、レーダーサブシステム405から受信した各レーダーデータストリームに重みを適用し、加重入力を合計し、合成加重レーダーデータストリームをレーダー処理モジュール410に出力し得る。適用される重みによって、特定のアンテナの入力に対して遅延が引き起こされ得る。これは、重みが複素数値であることによって実現可能である。アンテナから受信したレーダーデータストリームのうち1つ以上に対して遅延が引き起こされることによって、アンテナが受信したビームを効果的にステアリングできる。
実施の形態600では、別個のアンテナに各々が対応する3つのデジタルレーダーデータストリーム620(620-1、620-2、620-3)を、レーダーサブシステム205から受信する。そのため、本実施の形態では、レーダーサブシステム205の一部として3つのアンテナが存在する。その他の実施の形態では、レーダーサブシステム205は、これよりも少ない数(たとえば、2)のアンテナを有してもよく、これよりも多くの数(たとえば、4、5、6、7、またはそれ以上)のアンテナを有し得、各アンテナは、対応するRAWレーダーデータストリームをデジタル形式でビームステアリングモジュール610に出力する。
ミキサー630およびコンバイナ640は、ビームステアリングシステム432を表し得る。レーダーデータストリーム620の各々は、ミキサー630のうちの別個のミキサーに入力され得る。ミキサー630は、デジタルに実装され得るため、ソフトウェア処理を表し得る。ミキサー630-1は、レーダーデータストリーム620-1を、チャネル重み付けエンジン431が出力する重み(複素数値によって表される)と混合する。ミキサー630-2は、レーダーデータストリーム620-2を、チャネル重み付けエンジン431が出力する重み(ミキサー630-1において適用される重みと同じであってもよく、異なってもよい)と混合する。ミキサー630-3は、レーダーデータストリーム620-3を、チャネル重み付けエンジン431が出力する重み(ミキサー630-1および630-2において適用される重みの各々と同じであってもよく、異なってもよい)と混合する。
チャネル重み付けエンジン431(ソフトウェア処理を表し得る)は、ミキサー630の各々に出力すべき重みを表す値(たとえば、複素数値)を決定するための訓練プロセスを実行し得る。その他の実施の形態では、チャネル重み付けエンジン431は、レーダーサブシステム405の一部として組み込まれている別個の専用ハードウェアまたはハードウェアによって実行され得る。チャネル重み付けエンジン431が出力する重みを表すデジタル信号は、レーダーデータストリーム620の各々により大きなまたは小さな遅延を効果的に適用し得る。ミキサー630を介して適用された重みは、1に正規化され得る。そのため、実施の形態600において適用された3つの重みの和を足し合わせると、1になり得る。
ビームステアリングシステム432およびビームステアリングモジュール610を用いて、ミキサー630を介したWDAS(重み付き遅延和)ビームステアリングを実装できる。式5は、WDASをどのように実装できるかについての詳細を示す。
Figure 2023544245000008
Figure 2023544245000009
式6では、yは、ターゲットビームを用いて生成された、ベクトル化されたデータを表す。Xは、レーダーサブシステム405から受信したレーダーデータストリームデータを表す。wは、チャネル重み付けエンジン431が学習する重みを表す。ユーザに照準を合わせるために最も有効な重みを決定するための訓練プロセスの一部として、式6の出力を最小化しようとして様々な重みを(たとえば、パターンで、ランダムに)試し得る。たとえば、十分な数のランダムな重みがテストされた場合、最小出力値がわずかな誤差で得られることが見込まれる。最小二乗最適化プロセスに従って出力値を最小化することによって、ベッド内でユーザが位置している場所に最も近く照準を合わせるビーム方向に対応する重みを取得し得る。その後、これらの重みは、ユーザを今後モニタリングするために使われ得る。周期的または時々、ベッド内でユーザが動くことならびに/または睡眠検出デバイスの向きおよび/もしくは場所が変わったことを補償するための再訓練が行われ得る。
使用前、図9の方向950および952によって示されるようなレーダーサブシステムの既知の傾きを補償するための重みをオフラインで決定し得る。ユーザが存在する場合、重みをスイープするまたはランダムに選択することなどによって、ユーザにとって最適な方向を判定する。ユーザが存在しない場合、ユーザに照準を合わせるときに、かなりの反射を生じさせる静止物への1つ以上の方向を回避できるよう、これらの1つ以上の方向を判定できる。
チャネル重み付けエンジン431によって最小二乗最適化プロセス以外の学習プロセスが実行され得ることを理解されたい。たとえば、いくつかの実施の形態では、非接触睡眠トラッキングデバイスからユーザが睡眠する場所への方向を示す入力を提供することによって、ユーザは、訓練プロセスの手助けをしてもよい。その他の実施の形態では、ビームの照準をユーザに合わせるために異なる形式の自動学習プロセスが実行されてもよい。
システム400Aが起動されたときまたは電源が入れられたときにチャネル重み付けエンジン431がトリガーされて重みが決められてもよい。搭載の加速度計を介するなどしてシステム400Aによって動きが検出された場合、チャネル重みは再計算され得る。
加重レーダーデータストリーム635(たとえば、635-1、635-2、および635-3)の和は、ミキサー630によって出力されると、コンバイナ640によって受信され得る。コンバイナ640は、1つの加算出力645をレーダー処理モジュール410に出力し得る。ミキサー630が適用した少なくとも1つの重み(遅延を生じさせる)がミキサー630によって適用されたその他の重みと異なることによって、ビームが一定の方向に効果的にステアリングされる。このビームは、縦成分および/または横成分を有し得る。レーダー処理モジュール410による処理は、図4Aに関連して詳細を説明したように実行され得る。
図7は、レーダーサブシステム700の可能性のあるアンテナ配置の実施の形態を示す図である。レーダーサブシステム700は、レーダーサブシステム405として機能する集積回路の実施の形態を表し得る。IC全体の寸法は、6.5mm(長さ705)×5mm(幅704)であり得る。その他の実施の形態では、IC全体は、長さ705×幅704が、7mm×7mm~4mm×4mmの間である。図示したレーダーブシステム405の実施の形態は、3つの受信アンテナと、1つの送信アンテナとを有するが、その他の実施の形態は、これよりも多くの数のアンテナを有し得、これよりも少ない数のアンテナを有し得る。レーダーサブシステム700は、「L」パターンに分散された受信アンテナ710-1、710-2、および710-3を有し得る。すなわち、図7に示すように、アンテナ710-1および710-2は、軸701上に一列に並べら得、アンテナ710-2および710-3は、軸701に直交する軸702上に一列に並べられ得る。アンテナ710-2の中心は、アンテナ710-1の中心から2.5mm以内に位置し得る。アンテナ710-2の中心は、アンテナ710-3の中心から2.5mm以内に位置し得る。
送信アンテナ710-4は、受信アンテナ710-1、710-2、および710-3のL字状のパターンとは別個に配置され得る。すなわち、いくつかの実施の形態では、送信アンテナ710-4の中心は、軸701に平行なアンテナ710-3の軸上に位置しない。いくつかの実施の形態では、送信アンテナ710-4は、アンテナ710-1の中心の軸703にあり、軸703は、軸702に平行である。
アンテナ710の各々は、四角形の中空DRA(誘電体共振器アンテナ)であり得る。アンテナ710の各々は、同じ寸法セットを有し得る。これに代えて、受信アンテナ710-1、710-2、および710-3の各々の寸法は同じであり得、送信アンテナ710-4の寸法は、受信アンテナとは異なり得る。いくつかの実施の形態では、送信アンテナ710-4の幅は、0.2mmなど、受信アンテナ710-1、710-2、および710-3よりも大きいが、長さは同じである。
このような配置において、適用された重みによって生じるアンテナ710-1のレーダーデータストリームとアンテナ710-2のデータストリームとの間の位相遅延は、受信ビームの縦方向に影響を与え得、重みによって生じるアンテナ710-2のレーダーデータストリームとアンテナ710-3のデータストリームとの間の位相遅延は、受信ビームの横方向に影響を与え得る(レーダーサブシステム集積回路が非接触睡眠トラッキングデバイス内にほぼ同じ向きで存在していると仮定した場合)。
いくつかの実施の形態では、送信および受信にそれぞれ別個のアンテナを用いる。たとえば、アンテナ710-4を送信のみに使用し得、アンテナ710-1、710-2、および710-3を受信のみに使用する。
すべてのアンテナが上述したような1つの比較的小型の集積回路チップ上に配置されているレーダーサブシステムを利用することが、コスト削減と、受信側のビームステアリングを行うのに妥当な能力と、一般的なベッドの大きさ(たとえば、クイーン、キング、フル、ツイン)を範囲に含めることができる水平面において十分に幅の広いアンテナパターンとの間で良好なバランスを実現できることがわかった。同時に、レーダーサブシステムを組み込んだデバイスを、(目覚まし時計と置き換え可能な)目覚まし時計機能、ホームコントロールハブ、および/または娯楽用タッチスクリーンデバイスを含む、パーソナルアシスタントとしても機能させるためにベッドに十分近い位置(たとえば、1メートル内)にレーダーサブシステムを組み込んだデバイスを置くことができる。
実施の形態600のビームステアリングモジュールは、アンテナ710の互いに対する配置を加味しないが、実施の形態800は、レーダーサブシステム700のアンテナ配置のトポロジーに適応できる。その他の実施の形態では、アンテナ710は、「L」以外のパターンに配置されてもよい。
図8は、睡眠トラッキングおよび/またはヘルスモニタリングが行われる方向に照準を合わせるためのビームステアリングモジュールの実施の形態800を示す図である。実施の形態800では、レーダーサブシステム405のアンテナ配置(すなわち、アンテナトポロジー)が考慮される。アンテナトポロジーを考慮することによって、より精度の高いビームステアリングが実行され得、これにより、自身のベッドで睡眠中のユーザをより精度高くトラッキングできるようになる。アンテナ710-1は、レーダーデータストリーム620-1に対応し、アンテナ710-2は、レーダーデータストリーム620-2に対応し、アンテナ710-3は、レーダーデータストリーム620-3に対応する。すなわち、レーダーサブシステム405のアンテナ710-2のデータストリームとアンテナ710-3のデータストリームとの間に付加された位相遅延が、横方向のビーム照準に利用され、アンテナ710-2のデータストリームとアンテナ710-1のデータストリームとの間の位相遅延が、縦方向のビーム照準に利用される。アンテナ710-2のデータストリームが縦方向のビーム照準に使われるか横方向のビーム照準に使われるかどうかによって、別個のデジタル実装されたミキサーを用いて異なる重みが適用され得る。
実施の形態600と同様に、実施の形態800では、レーダーサブシステム405の各アンテナから別個のデジタルレーダーデータストリーム620を受信する。ミキサー830およびコンバイナ840は、図4Aのビームステアリングシステム432を表し得る。実施の形態800では、ビームステアリングモジュール810は、4つのミキサー830(830-1、830-2、830-3、および830-4)を有する。実施の形態600と同様に、チャネル重み付けエンジン431が出力する値(たとえば、複素数値)は、レーダーデータストリーム620のうち各レーダーデータストリームと混合され得る。しかしながら、横方向のビーム照準と縦方向のビーム照準に別個に利用されるそれぞれ異なる重みをレーダーデータストリーム620-2と混合として、2つの加重出力を作成してもよい。レーダーデータストリーム620-1は、ミキサー830-1を介して適用された重みを有し得、コンバイナ840-1を介してレーダーデータストリーム620-2(ミキサー830-2を介して適用された重みを有する)と合成され得る。ミキサー830-1および830-2において適用される重みを足し合わせると、1という正規化された値になり得る。レーダーデータストリーム620-3は、ミキサー830-4を介して適用された重みを有し得、コンバイナ840-2を介してレーダーデータストリーム620-2(ミキサー830-3を介して適用された重みを有する)と合成され得る。ミキサー830-3および830-4において適用される重みを足し合わせると、1という正規化された値になり得る。
チャネル重み付けエンジン431は、実施の形態600における実装と同様に実装され得る。チャネル重み付けエンジン431は、最小二乗最適化プロセスまたはその他の最適化プロセスを実行し、最適またはほぼ最適な受信ビームの方向を決定し得る。実施の形態800では、チャネル重み付けエンジン431は、重み付けのために、実施の形態600のように3つの出力ではなく、4つの出力を生成し得る。そのため、重みについて出力される特定のパターンの値またはランダムな値セットが最小二乗最適化プロセスの一部として使われる場合、実施の形態800では、重みを設定するために使われる最適な出力値セットを得るために、実施の形態600よりも多くの数の出力値セットがテストされ得る。
2つの出力845である出力845-1および出力845-2を、レーダー処理モジュール850に出力し得る。睡眠を解析するために、その後、出力845-1および出力845-2について別個の処理がレーダー処理モジュール850によって実行され得る。上位では、レーダー処理モジュール850による処理は、処理中に方向が利用されなくなるまで、出力845の各々に対して実行され得る。実施の形態800では、動きフィルター、周波数エンファシス部、およびレンジ-バイタル変換エンジンの別個のインスタンスが出力845の各々に適用された後、その結果が平均化または足し合わされ得る。より具体的には、出力845-1は、動きフィルター851-1に出力され、その後、周波数エンファシス部852-1に出力され、そしてレンジ-バイタル変換エンジン853-1に出力され得る。出力845-2は、動きフィルター851-2に出力され、その後周波数エンファシス部852-2に出力され、そしてレンジ-バイタル変換エンジン853-2に出力され得る。動きフィルター851、周波数エンファシス部852、およびレンジ-バイタル変換エンジン853は、図4Aの動きフィルター411、周波数エンファシス部412、およびレンジ-バイタル変換エンジン413に関連して詳細を説明したように機能し得る。レンジ-バイタル変換エンジン853-1の出力と、レンジ-バイタル変換エンジン853-2の出力は、コンバイナ854を用いて足し合わされ得るまたは合成され得る。コンバイナ854の出力(レンジ-バイタル変換エンジン853の出力の平均を表し得る)は、レンジゲートフィルター414によって処理され得た後、図4Aに関連して詳細を説明したような構成要素によって処理され得る。
実施の形態800を用いてユーザの呼吸を解析するための第1の実施の形態セットにおいて、縦方向のビームステアリングは行われない。このような実施の形態では、横方向に分散されたアンテナからのRAW波形データを利用するビームステアリングのみが使われ得る。たとえば、図7を参照すると、アンテナ710-2および710-3から取得したRAW波形データのみが横ビームステアリングに利用され得る。その後、ビームステアリングモジュール810からの出力845-2は、位相キャプチャモジュール501のうち対応する位相キャプチャモジュールに入力され得る。このような実施の形態では、縦方向のビームフォーミングに関する構成要素は実装されていない、または、睡眠をトラッキングする目的のためのビーム照準用に使われ得る。
実施の形態800を用いて実行されるビームステアリングを利用してユーザの呼吸を解析するための第2の実施の形態セットにおいて、ビームステアリングモジュール810からの出力845-1および845-2の両方が使われ得る。システム500Bの一部として実装されたこのような実施の形態では、これらの出力の各々は、位相キャプチャモジュール501のそれぞれ別個の位相キャプチャモジュールと、レーダー位相処理モジュール510のそれぞれ別個のレーダー位相処理モジュールとを用いて処理されて得、これにより、アンラップされた位相値のペアが作成される。その後、各ペアに含まれる2つの位相値は、平均化されて特徴量バンドルコンパイラ520に渡され得る。そのため、実施の形態800の縦方向のビームフォーミングおよび横方向のビームフォーミングの両方を行うために、横方向のビームステアリングのみが行われたときと同じ数の空間領域をモニタリングするためには、位相キャプチャモジュールの数およびレーダー位相処理モジュールの数を倍にするよう実装する必要があり得る(平均化を実行することに加えて)。
睡眠モニタリングの場合、レーダー処理モジュール850およびビームステアリングモジュール810は、1つの汎用プロセッサ(または、複数のプロセッサ)によって実行される1つのソフトウェア処理として実行され得るので、より複雑な混合、重み、ならびに動きフィルター851、周波数エンファシス部852、およびレンジ-バイタル変換エンジン853の複数のインスタンスを実装するには、十分な処理能力が利用可能である必要があるであろう。そのため、このような処理能力が利用可能であると仮定した場合、実施の形態600の代わりに実施の形態800を実装するために非接触睡眠トラッキングデバイスにハードウェア変更を加える必要はないであろう。いくつかの実施の形態では、実施の形態600が実装され得、睡眠トラッキングの結果の精度が低かった場合、実施の形態800が実装され得る(またはその逆)。有利には、レーダー機能が組み込まれたスマートホーム管理デバイス(たとえば、Nest Home Hub)を非接触ヘルスモニタリングデバイス300が備えるいくつかの実施の形態では、スマートホーム管理デバイスは、スマートスピーカー、ホームアシスタント、ならびにタッチスクリーンベースの制御ボタンおよび/またはエンターテイメントハブのネットワーク接続された組合せであり、パラメータ計算方法の改良、さらにはレーダー処理アルゴリズム全体の改良は、インターネットを経由して中央クラウドサーバによって必要に応じて出されるその分野のソフトウェア更新によって達成可能である。
図6および図8の実施の形態600および800の受信側ビームステアリングの態様は、それぞれデジタルドメインで実装されるが、ビームステアリングモジュール610および810の機能は、アナログ部品を用いてアナログドメインで実装されてもよい。このようなビームステアリングがアナログドメインで実行された場合、デジタルドメインへの変換は、このようなアナログビームステアリングが実行された後に実行され得、レーダー処理モジュール410または850にデジタルデータが提供される。
図9は、非接触睡眠トラッキングデバイス900(「デバイス900」)の実施の形態を示す図である。これに代えて、デバイス900は、非接触呼吸トラッキングデバイスと称することもできる。デバイス900は、透明なフロントスクリーン940を含む前面を有し得、ディスプレイが見えるようになっている。このようなディスプレイは、タッチスクリーンであり得る。透明なフロントスクリーン940を囲んでいるのは、ベゼル930と称される視覚的に不透明な領域であり得る。レーダーサブシステム405は、ベゼル930を通してデバイス900の前方に環境の視野を有する。
直ぐ下の説明のために、縦および横という用語は、概して寝室を基準にした方向を言い、縦は、床に直交する方向を指し、横は、床に平行な方向を指す。レーダーサブシステム(インフィニオン(登録商標)のBGT60レーダーチップであってもよい)は、だいたい平面状であるため、デバイス全体の空間を小さくするために、ベゼル930にほぼ並行に設置され、レーダーチップ内のアンテナは、チップの面に置かれている、すなわちビーム照準がないため、レーダーサブシステム320の受信ビームは、ベゼル930にほぼ垂直な方向950に向けられ得る。ベゼル930が完全な縦方向から離れるように傾き(透明なスクリーン940のタッチスクリーン機能とのユーザの対話を容易にするためにいくつかの実施の形態では、約25度とされる)を有していることで、方向950は、デパーチャーアングル951だけ横方向から上に向いている。ユーザが睡眠をとるマットレスの上部とだいたい同じ高さのベッドわきにあるプラットフォーム(たとえば、サイドテーブル)上にデバイス900が、通常、設置されると想定した場合、レーダーサブシステム320の受信ビームが横方向952またはほぼ横方向(たとえば、横方向から-5度~5度の間)に照準を合わせることはメリットがあるであろう。そのため、縦方向のビーム照準を用いて、レーダーサブシステム320が存在しているデバイス900の一部のデパーチャーアングル951を補償することができる。
図10は、デバイス900の実施の形態の分解図である。デバイス900は、ディスプレイアセンブリ1001と、ディスプレイ筐体1002と、メイン配線基板1003と、ネックアセンブリ1004と、スピーカーアセンブリ1005と、ベース板1006と、メッシュネットワーク通信インタフェース1007と、上部ドーターボード1008と、ボタンアセンブリ1009と、レーダーアセンブリ1010と、マイクロフォンアセンブリ1011と、ロッカースイッチブラケット1012と、ロッカースイッチボード1013と、ロッカースイッチボタン1014と、Wi-Fiアセンブリ1015と、電源ボード1016と、電源ブラケットアセンブリ1017とを備え得る。デバイス900は、デバイス301がどのように実装され得るかについての実施の形態を表し得る。
ディスプレイアセンブリ1001と、ディスプレイ筐体1002と、ネックアセンブリ1004と、ベース板1006とを合わせると、デバイス900の残りの構成要素のすべてを収容する筐体が形成され得る。ディスプレイアセンブリ1001は、ユーザに情報を提示する電子ディスプレイ(タッチスクリーンであり得る)を含み得る。そのため、ディスプレイアセンブリ1001は、表示画面を備え得る。表示画面は、接地面として機能できるディスプレイの金属板を含み得る。ディスプレイアセンブリ1001は、金属板から離れた位置に、ディスプレイアセンブリ1001が面している全体方向に様々なセンサーの視野がくる透明部分を備えてもよい。ディスプレイアセンブリ1001は、デバイス900の筐体の一部として機能するガラス製または透明プラスチック製の外面を含み得る。
ディスプレイ筐体1002は、ディスプレイアセンブリ1001の筐体として機能するプラスチックまたはその他の硬質素材もしくは半硬質素材であり得る。メイン配線基板1003、メッシュネットワーク通信インタフェース1007、上部ドーターボード1008、ボタンアセンブリ1009、レーダーアセンブリ1010、およびマイクロフォンアセンブリ1011など、様々な構成要素がディスプレイ筐体1002上に搭載され得る。メッシュネットワーク通信インタフェース1007、上部ドーターボード1008、レーダーアセンブリ1010、およびマイクロフォンアセンブリ1011は、平角線アセンブリを用いてメイン配線基板1003に接続され得る。接着剤を用いてディスプレイアセンブリ1001にディスプレイ筐体が取り付けられ得る。
メッシュネットワーク通信インタフェース1007は、1つ以上のアンテナを備え得、スレッドベースのメッシュネットワークなどメッシュネットワークと通信可能であり得る。干渉の可能性を低くするために、Wi-Fiアセンブリ1015は、メッシュネットワーク通信インタフェース1007から離れた位置に配置され得る。Wi-Fiアセンブリ1015は、Wi-Fiベースのネットワークとの通信を有効にし得る。
レーダーサブシステム320またはレーダーサブシステム405を含み得るレーダーアセンブリ1010は、そのRFエミッターおよびRFレシーバーがディスプレイアセンブリ1001の金属板から離れて、距離メッシュネットワーク通信インタフェース1007およびWi-Fiアセンブリ1015からかなり距離がある位置に置かれるように配置され得る。これらの3つの構成要素は、ほぼ三角形に配置され得、構成要素間の距離を大きくして干渉が抑えられる。たとえば、デバイス900では、Wi-Fiアセンブリ1015とレーダーアセンブリ1010との間は、少なくとも74mmの距離が保たれ得る。メッシュネットワーク通信インタフェース1007とレーダーアセンブリ1010との間は、少なくとも108mmの距離が保たれ得る。これに加えて、レーダーアセンブリ1010とスピーカー1018との間の距離は、スピーカー1018が発生させ得るレーダーアセンブリ1010上の振動の影響を最小限に抑える距離であることが望ましい。たとえば、デバイス900の場合、レーダーアセンブリ1010とスピーカー1018との間は、少なくとも79mmの距離が保たれ得る。これに加えて、マイクロフォンとレーダーアセンブリ1010との距離は、受信したレーダー信号上のマイクロフォンからの干渉を最小限に抑える距離であることが望ましい。上部ドーターボード1008は、複数のマイクロフォンを備え得る。たとえば、上部ドーターボード1008の最も近いマイクロフォンとレーダーアセンブリ1010との間は、少なくとも12mmの距離が保たれ得る。
また、その他の構成要素が存在し得る。第3のマイクロフォンアセンブリ、マイクロフォンアセンブリ1011が存在し得る。マイクロフォンアセンブリ1011は、背面にあり得る。マイクロフォンアセンブリ1011は、上部ドーターボード1008のマイクロフォンと協調して、背景ノイズから発話コマンドを分離させるように機能し得る。電源ボード1016は、AC電源から受電した電力を、デバイス900の構成要素に電力を供給するためのDC電力に変換し得る。電源ボード1016は、電源ブラケットアセンブリ1017を用いてデバイス900内に載置され得る。ロッカースイッチブラケット1012、ロッカースイッチボード1013、およびロッカースイッチボタン1014をまとめて利用して、上/下入力など、ユーザ入力を受信し得る。このような入力は、たとえば、スピーカー1018からの音声出力の音量を調整するために使われ得る。別のユーザ入力として、ボタンアセンブリ1009は、ユーザが動かすことのできるトグルボタンを含み得る。このようなユーザ入力を用いて、ユーザがプライバシーを求めている場合および/またはデバイス900に音声コマンドに応答して欲しくない場合などにすべてのマイクロフォンを起動および停止させ得る。
図11は、人がいつ睡眠しているかを判断するためのステートマシン1100の実施の形態を示す図である。レーダー処理モジュール312が出力するデータに基づいて、睡眠状態検出エンジン314は、ステートマシン1100を用いて、人が睡眠中であるかどうかを判断し得る。いくつかの実施の形態では、睡眠状態検出エンジン314は、レーダー処理モジュール312の機能の一部として組み込まれており、別個のモジュールとして存在しないことを理解されたい。ステートマシン1100は、ベッドに入る状態1101、ベッドにいない状態1102、ベッドで動いている状態1103、ベッドで動いていない状態1105、およびベッドを出る状態1104という、可能性のある5つの睡眠状態を含み得る。
動いていないことを示す波形データが存在する場合、これは、ユーザがベッドにいないことを示し得る。バイタルサインが原因で、ベッドにいるユーザは、少なくとも少しの量、常に動いていることが想定できる。そのため、動きがゼロであることが観測された場合、ユーザは、状態1101であると判断され得る。状態1101が判断されたあと、次に判断される可能性のある状態は、状態1102である。状態1102では、モニタリングされているユーザがベッドに入るところである。表2に従うなどして、重要なユーザの動きが検知され得る。これは、ユーザがベッドに入るところであることを示し得、状態1101から状態1102に状態を遷移させ得る。
状態1102から、ユーザが寝転がったり、適切な位置を探したり、枕、シーツ、および/またはブランケットを移動させたり、読書することなどが原因である動きがベッドで検出され続け得る。このような動きが検出され続けている間に、状態1102は、状態1103に遷移し得る。これに代えて、動きが検出されたあとに動きが検出されなくなる場合、モニタリングされているユーザがベッドから出たことによって状態1105になったことを意味し得る。この状態になると、状態1102は、状態1105に遷移したあと、状態1101に戻るであろう。一般に、状態1104は、ユーザが睡眠中であると解釈され得、状態1103は、ユーザが起きていると解釈され得る。いくつかの実施の形態では、ユーザが睡眠中であると分類するためには、状態1104がしきい値時間(または、少なくとも一部が時間に基づくしきい値基準の形式を利用するその他の判断形式)以上続く必要があり、ユーザを起きていると分類するためには、状態1103がしきい値時間(または、少なくとも一部が時間に基づくしきい値基準の形式を利用するその他の判断形式)以上続く必要がある。たとえば、ベッド内での5秒未満の動きは、ユーザが睡眠中であると以前判定されている場合、ユーザがまだ睡眠しているのに動いていると解釈され得る。そのため、ユーザが、状態1104から状態1103に遷移し、複数回動いたあと、一定期間未満のうちに状態1104に戻った場合、ユーザは、「睡眠時覚醒」に遭ったと識別され得る。睡眠時覚醒では、ユーザの睡眠が乱されるが、ユーザが起こされることはない。このような睡眠時覚醒も共にトラッキングされてもよく、またはユーザが完全に覚醒したと判断される現象とは別個のデータが保持されてもよい。
状態1103から、状態1105において、モニタリングされているユーザは、ベッドから出るところであると判断され得、状態1104で動かなくなり得る。状態1104における「動かなく」なるとは、モニタリングされているユーザによる大きな動きはないが、バイタルサインが原因である小さな動きをし続けていることを指す。いくつかの実施の形態では、モニタリングされているユーザの状態が状態1104であると判断された場合のみ、バイタルサインは、精度が高いとみなされ、および/または、格納、記録、もしくはユーザのバイタルサインを計測するために使用される。状態1103および状態1104の間に収集されたデータを用いて、モニタリングされているユーザの一般的な睡眠パターンが判定され得る(たとえば、どれくらい寝返りを打つのか、睡眠の質がどれくらいなのか、深睡眠がいつ起こるのか、レム睡眠がいつ起こるのかなど)。ユーザが、予め定められた期間、状態1104になったあと、ユーザは、状態1104を出るまで、睡眠しているとみなされ得る。ユーザは、状態1104に最初に遷移したとき、睡眠中であるとみなされるまで、2~5分など、一定の時間、状態1104のままでいる必要があり得る。ユーザは、少なくとも定められた期間、状態1103にあると、覚醒していると識別され得る。しかしながら、ユーザが状態1104から、この定められた期間未満の間、状態1103に入り、状態1104に戻った場合、ユーザは、睡眠中にただ動いているだけであって引き続き睡眠中であると識別され得る。
図3~図11のシステム、デバイス、およびステートマシンを用いて、様々な方法を実行できる。図12は、異常な呼吸状態が存在するかどうかを判断するためにユーザの呼吸の非接触モニタリングを実行するための方法の実施の形態を示す図である。方法1200は、非接触ヘルスモニタリングデバイス301を用いて実行され得る。より具体的には、方法1200は、図5Bのシステム500Bを用いて実行され得る。
ブロック1210では、電波を放射する。放射される電波は、FMCWなど、連続波レーダーであり得る。FMCWレーダーは、図4Bに関連して詳細を説明したように電波を送信できる。電波は、レーダーサブシステム405のRFエミッター406によって放射され得る。ブロック1220では、レーダーサブシステム405のRFレシーバー440の複数のアンテナなどによって電波の反射を受信し得る。ブロック1220において受信した反射は、移動体(たとえば、ベッドで睡眠中の人、ベッドで動いている人)および静止物を反射したものであり得る。
ブロック1230では、ユーザが呼吸解析の対象であるかどうかを判断する。ブロック1230の判断は、ユーザがベッドにいて動いていない(バイタルサインのほかに)と機械学習分類が判断したかどうかに基づいて実行され得る。機械学習による分類は、ニューラルネットワーク416によって実行され得る。そのため、システム400Aは、稼働中であり得、図4Aに関連して詳細を説明したように機能し、ステートマシン1100に従ってユーザの状態を判断し、場合によっては、ユーザの呼吸および心拍数など、バイタルサインをモニタリングする。ブロック1230が肯定であると判断された場合、方法1200はブロック1230に進み得、システム500Bが起動され得る。ブロック1230が否定であると判断された場合、方法1200は、ブロック1210に戻り、ユーザが呼吸解析の対象であるかどうかのモニタリングをし続け得る。
ブロック1235では、受信した反射レーダーチャープについて、ユーザの胸部に対応するN個の空間ゾーンのビームフォーミングを行う。式6に関連して詳細を説明したように、大きさが最大のユーザのバイタルサインが検出される方向を決定することにより、ビームステアリングモジュール430などのビームステアリングモジュールによって、ユーザの胸部への全体方向が先ず決定され得る。決定された方向に基づいて、各々のデジタル受信側ビームステアリングが異なるN個の空間ゾーンが決定され得る。大きさが最大のユーザのバイタルサインが検出された方向であると判断された方向に基づく角度によって、照準が合わせられた空間領域間に間隔が空けられ得る。空間ゾーンは、一部重なり合ってもよい。
ブロック1240では、N個の空間ゾーンの各々について、呼吸による変位量を判定し得る。空間ゾーンにおけるユーザの胸部の動きの量は、位相を用いると最も精度高く判定され得る。空間ゾーンごとに、ユーザの呼吸に関連する周波数の位相の兆候を出力する位相キャプチャモジュールを実行し得る。この位相値は、位相キャプチャモジュール501およびレーダー位相処理モジュール510に関連して詳細を説明したように判定および変更され得る。そのため、ブロック1240の出力は、ユーザの胸部の瞬間的な位置を示し得る。この瞬間的な位置は、アンラップされた位相値によって表され得る。
いくつかの実施の形態では、N個の空間ゾーンの各々について処理は、並列して実行される。その他の実施の形態では、処理は逐次実行される。逐次実行される場合、最初の空間ゾーンについてブロック1240が実行された後、ブロック1250において、次の空間ゾーンについてブロック1235および1240を処理する必要があるかどうかの判断を行う。次の空間ゾーンについてブロック1235および1240を処理する必要がある場合、方法1200は、ブロック1235に戻り、モニタリングされている別の空間ゾーンに対応する受信側ビームフォーミング(同じ受信した反射レーダーチャープに対応する)を実行する。空間ゾーンの数は、実施の形態によって異なる。実施の形態は、2つ、3つ、4つ、5つ、6つ、7つ、8つ、9つ、10つ、またはそれ以上の数の空間ゾーンを含み得る。
すべての空間ゾーンが並列または逐次解析された後、ブロック1260において、所与の受信した反射レーダーチャープについてN次元特徴量ベクトルを作成し得る。ブロック1260は、図5Bに関連して詳細を説明したように、特徴量バンドルコンパイラ520によって実行され得る。N次元特徴量ベクトルの作成は、空間ゾーンごとの位相値を、一定時間、バッファリングさせることを含み得る。バッファリングされた位相値セットごとに、フーリエ変換(たとえば、FFT)を実行して、周波数の大きさと位相値とを求め得る。位相および大きさの値は、ブロック1270に入力されるフェイザーまたは特徴量ベクトルとして用いられ得る。ブロック1260では、N個の特徴量ベクトルが、モニタリングされているN個の空間ゾーンの各々に対応するように作成される。
ブロック1270では、訓練済み機械学習モデルを用いるなどして、N個の特徴量ベクトルを解析する。訓練済み機械学習モデルは、ニューラルネットワークであり得る。N個の特徴量ベクトルは、分類を実行するために機械学習モデルが用いる特徴量として機能する。機械学習モデルは、特定の呼吸状態(たとえば、奇異呼吸)がある人に対応するトゥルースがタグ付けされた特徴量ベクトルのバンドルセットおよび呼吸が健康である人に対応するトゥルースがタグ付けされた特徴量ベクトルのバンドルセットを用いて、訓練済みであり得る。機械学習モデルは、特定の異常な呼吸状態にあるユーザを特定するよう訓練され得る。いくつかの実施の形態では、ブロック1270をそれぞれ異なる機械学習モデルを用いて複数回実行し、異なる呼吸関連の健康状態を特定し得る。ブロック1270の出力は、分類の作成元であるデータのタイムスタンプに沿った1つ以上の分類であり得る。
ブロック1280では、ブロック1270で取得した分類およびタイムスタンプデータを格納、解析、および/または出力し得る。いくつかの実施の形態では、分類データは、1晩(たとえば、ユーザは、夜間に1回以上目を覚ます可能性はあるが、ユーザが就寝してから朝に起床するまで。)など、一定時間、格納される。このデータは、集計、格納、および/または出力され得る。異常な睡眠状態がある可能性があるとユーザが通知されるために、ユーザに異常な睡眠状態があるとの分類が、少なくともしきい値期間、出力される必要があり得、または、その他の時間に関する基準を満たす必要があり得る。たとえば、一晩のうち、奇異呼吸の分類が、わずか数秒間しか出力されなかった場合、この状態についてユーザは通知されなくてもよい。しかしながら、夜に1分よりも長い間奇異呼吸があるとユーザが分類された場合、このユーザは、奇異呼吸を抱えていたとの通知を受信し得る。
ユーザには、夜間に異常な呼吸状態を抱えていたかどうかを示す夜間レポートが提供され得る。この夜間レポートは、心拍数および/または呼吸数関連など、バイタルサイン関連データを示す夜間レポートと一体化され得る。異常な呼吸状態が検知された場合、ユーザがこの呼吸状態を抱えていた時間も出力され得る。また、呼吸状態の定義も出力され得る。夜間レポートは、非接触デバイスの表示画面を用いて提示され得、および/または合成音声を用いて出力され得る。いくつかの実施の形態では、夜間レポートデータは、(ユーザのスマートフォンまたはタブレットコンピュータ上にインストールされたアプリケーションを介するなどして)クラウドベースのサーバシステムによって格納されているアカウントにユーザがログインすることによってアクセス可能になる。
これに加えてまたはこれに代えて、定期的または時々、長期レポートがユーザに出力され得る(または、このようなレポートは、ユーザからの要求に応じてアクセス可能であり得る)。複数の夜、1週間、2週間、1ヶ月、半年、1年など、1晩よりも長い期間を範囲に含み得る長期レポートは、異常な呼吸状態に関する1つ以上の傾向を示し得る。たとえば、長期レポートは、ユーザが抱える1晩あたりの呼吸異常が時間の経過とともに長くなっているか、短くなっているかの傾向を示し得る。1晩あたりの呼吸異常の期間が増えているという証拠は、正式な診断および治療計画を受けるために医療従事者の元を訪れるようユーザを説得するのに役立ち得る。
いくつかの実施の形態では、方法1200を実行するデバイスは、発話コマンドに応答できる。ユーザは、「ハイ、デバイス、昨晩の私の睡眠はどうだった?」など、夜間レポートおよび/または長期レポートを要求するコマンドを発話し得る。口頭によるコマンドを受信した場合、デバイスは、ワイヤレスネットワークインタフェース介して、発話コマンドを解釈するためにクラウドベースのサーバシステムに送信し得る。これに応答して、クラウドベースのサーバシステムは、デバイスによって出力されるデータを示し得る。デバイスは、クラウドベースのサーバシステムからデータを受信し得、出力すべきローカルに格納されたデータを示すクラウドベースのサーバシステムからのコマンドを受信し得る。夜間レポートおよび/または長期レポート情報を含む発話コマンドに応答して、グラフィカルインタフェースおよび/または合成音声が出力され得る。
様々な構成は、適宜、様々なプロシージャまたは構成要素を省略したり、置き換えたり、追加したりしてもよい。たとえば、別の構成では、方法は、説明した順序とは異なる順序で実行されてもよく、および/または、様々なステージを追加したり、省略したり、および/または組み合わせたりしてもよい。また、特定の構成に関して説明した特徴を、様々なその他の構成において組み合わせてもよい。構成のそれぞれ異なる態様および要素を同様に組み合わせてもよい。また、技術は進化するので、要素の多くは例示であり、本開示またはクレームの範囲を限定しない。
例示的な構成(実施態様を含む)を十分に理解してもらうために、具体的な詳細を記載した。しかしながら、これらの具体的な詳細がなくても当該構成を実施できるであろう。たとえば、構成を曖昧にしてしまわないように、周知の回路、処理、アルゴリズム、構造、および技術を、不必要に詳細を説明することなく図示した。この説明は、構成を例示しているにすぎず、クレームの範囲、利用可能性、または構成を限定しない。むしろ、以上の構成の説明は、記載の技術を実装するための、実施可能にするための説明を当業者に提供する。本開示の趣旨または範囲を逸脱することなく、要素の機能および配置に様々な変更が加えられてもよい。
また、構成は、フロー図またはブロック図として描かれる処理として説明されてもよい。各構成は、複数の動作を1つの逐次プロセスとして記載し得るが、これらの動作の多くは、並列または同時に実行できる。これに加えて、動作の順序を並び替えてもよい。処理は、図に含まれていない追加ステップを有してもよい。さらには、方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または、任意のそれらの組合せによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装された場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体など、非一時的なコンピュータ読み取り可能な媒体に格納されてもよい。プロセッサが上述したタスクを実行してもよい。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更、別の構成、および均等物が用いられてもよい。たとえば、上記要素は、より大きなシステムの構成要素であってもよく、その他の規則が優先されてもよく、そうでない場合、本発明の適用を変更してもよい。また、上記要素が考慮される前、間、または後に複数のステップが挿入されてもよい。
図11は、人がいつ睡眠しているかを判断するためのステートマシン1100の実施の形態を示す図である。レーダー処理モジュール312が出力するデータに基づいて、睡眠状態検出エンジン314は、ステートマシン1100を用いて、人が睡眠中であるかどうかを判断し得る。いくつかの実施の形態では、睡眠状態検出エンジン314は、レーダー処理モジュール312の機能の一部として組み込まれており、別個のモジュールとして存在しないことを理解されたい。ステートマシン1100は、ベッドに入る状態110、ベッドにいない状態110、ベッドで動いている状態1103、ベッドで動いていない状態110、およびベッドを出る状態110という、可能性のある5つの睡眠状態を含み得る。

Claims (29)

  1. 非接触ヘルスモニタリングデバイスであって、
    筐体と、
    複数のアンテナを含むレーダーセンサーとを備え、前記レーダーセンサーは、前記筐体に収容され、前記非接触ヘルスモニタリングデバイスは、
    処理システムを備え、前記処理システムは、前記レーダーセンサーと通信する、前記筐体に収容された1つ以上のプロセッサを含み、
    前記処理システムは、
    前記複数のアンテナのアンテナごとに、前記レーダーセンサーからレーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信し、
    受信した前記複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成するビームステアリング処理を実行し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じた前記ユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力するよう、構成され、
    照準が合わせられた空間ゾーンレーダーストリームのうち、第1は、前記ユーザの胸部ゾーンに対応し、
    照準が合わせられた空間ゾーンレーダーストリームのうち、第2は、前記ユーザの腹部ゾーンに対応し、
    前記解析は、前記腹部ゾーンの前記呼吸による変位と、前記胸部ゾーンの前記呼吸による変位との間の、奇異呼吸状態を示すのに十分な位相差を検出することを含み、
    出力される前記スクリーニング結果は、検出された前記奇異呼吸状態を表す情報を含む、非接触ヘルスモニタリングデバイス。
  2. 前記ビームステアリング処理は、WDAS(重み付き遅延和)ビームステアリングを適用して前記複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成することを含む、請求項1に記載の非接触ヘルスモニタリングデバイス。
  3. 前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析するように前記処理システムが構成されることは、予め訓練済みの機械学習モデルを適用するように前記処理システムが構成されることを含む、請求項1に記載の非接触ヘルスモニタリングデバイス。
  4. 前記予め訓練済みの機械学習モデルは、ニューラルネットワークである、請求項3に記載の非接触ヘルスモニタリングデバイス。
  5. 前記複数の照準が合わせられた空間ゾーンの各照準が合わせられた空間ゾーンは、ユーザの体の異なる部分に対応する、請求項1に記載の非接触ヘルスモニタリングデバイス。
  6. 前記複数の照準が合わせられた空間ゾーンは、少なくとも5つの照準が合わせられた空間ゾーンを含む、請求項5に記載の非接触ヘルスモニタリングデバイス。
  7. 前記処理システムは、前記複数のレーダーデータストリームに基づいて、前記ユーザが睡眠状態にあり動いていないとステートマシンを用いて判定するようにさらに構成される、請求項1に記載の非接触ヘルスモニタリングデバイス。
  8. 前記筐体に収容された、前記処理システムと通信するワイヤレスネットワークインタフェースと、
    前記筐体に収容された、前記処理システムと通信するタッチスクリーンディスプレイとをさらに備える、請求項1に記載の非接触ヘルスモニタリングデバイス。
  9. 前記筐体に収容された、前記処理システムと通信するマイクロフォンと、
    前記筐体に収容された、前記処理システムと通信するスピーカーとをさらに備え、
    前記処理システムは、
    前記ユーザの呼吸による変位を解析することに関する発話コマンドを受信し、
    前記ワイヤレスネットワークインタフェースを介して前記発話要求をクラウドベースのサーバシステムに送信させ、
    前記発話要求を前記クラウドベースのサーバシステムに送信したことに応答して、前記ワイヤレスネットワークインタフェースを介してコマンドを受信し、
    受信した前記コマンドに少なくとも一部基づいて、前記タッチスクリーンディスプレイを介して前記スクリーニング結果を出力するようにさらに構成される、請求項8に記載の非接触ヘルスモニタリングデバイス。
  10. 非接触ヘルスモニタリングデバイスであって、
    筐体と、
    複数のアンテナを含むレーダーセンサーとを備え、前記レーダーセンサーは、前記筐体に収容され、前記非接触ヘルスモニタリングデバイスは、
    処理システムを備え、前記処理システムは、前記レーダーセンサーと通信する、前記筐体に収容された1つ以上のプロセッサを含み、
    前記処理システムは、
    前記複数のアンテナのアンテナごとに、前記レーダーセンサーからレーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信し、
    受信した前記複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成するビームステアリング処理を実行し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析し、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じた前記ユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力するよう、構成される、非接触ヘルスモニタリングデバイス。
  11. 前記スクリーニング結果は、前記ユーザが奇異呼吸を抱えていることを示す、請求項10に記載の非接触ヘルスモニタリングデバイス。
  12. 前記ビームステアリング処理は、WDAS(重み付き遅延和)ビームステアリングを適用して、前記複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成することを含む、請求項10に記載の非接触ヘルスモニタリングデバイス。
  13. 前記処理システムが前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定するように構成されることは、前記処理システムが、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとに位相値を判定するように構成されることを含む、請求項10に記載の非接触ヘルスモニタリングデバイス。
  14. 前記処理システムが前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析するように構成されることは、前記処理システムが、予め訓練済みの機械学習モデルを適用するように構成されることを含む、請求項10に記載の非接触ヘルスモニタリングデバイス。
  15. 前記予め訓練済みの機械学習モデルは、ニューラルネットワークである、請求項14に記載の非接触ヘルスモニタリングデバイス。
  16. 前記複数の照準が合わせられた空間ゾーンの各照準が合わせられた空間ゾーンは、ユーザの体の異なる部分に対応する、請求項10に記載の非接触ヘルスモニタリングデバイス。
  17. 前記複数の照準が合わせられた空間ゾーンは、少なくとも5つの照準が合わせられた空間ゾーンを含む、請求項16に記載の非接触ヘルスモニタリングデバイス。
  18. 前記処理システムは、前記複数のレーダーデータストリームに基づいて、前記ユーザが睡眠状態にあり動いていないとステートマシンを用いて判定するようにさらに構成される、請求項10に記載の非接触ヘルスモニタリングデバイス。
  19. 前記筐体に収容された、前記処理システムと通信するワイヤレスネットワークインタフェースと、
    前記筐体に収容された、前記処理システムと通信するタッチスクリーンディスプレイとをさらに備える、請求項10に記載の非接触ヘルスモニタリングデバイス。
  20. 前記筐体に収容された、前記処理システムと通信するマイクロフォンと、
    前記筐体に収容された、前記処理システムと通信するスピーカーとをさらに備え、
    前記処理システムは、
    前記ユーザの呼吸による変位を解析することに関する発話コマンドを受信し、
    前記ワイヤレスネットワークインタフェースを介して前記発話要求をクラウドベースのサーバシステムに送信させ、
    前記発話要求を前記クラウドベースのサーバシステムに送信したことに応答して、前記ワイヤレスネットワークインタフェースを介してコマンドを受信し、
    受信した前記コマンドに少なくとも一部基づいて、前記タッチスクリーンディスプレイを介して前記スクリーニング結果を出力するようにさらに構成される、請求項19に記載の非接触ヘルスモニタリングデバイス。
  21. レーダーサブシステムの複数のアンテナのアンテナごとに、レーダーデータストリームを受信することによって、複数のレーダーデータストリームを受信することと、
    1つ以上のプロセッサが、受信した前記複数のレーダーデータストリームから、複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成するビームステアリング処理を実行することと、
    前記1つ以上のプロセッサが、前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定することと、
    前記1つ以上のプロセッサが、前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析することと、
    前記1つ以上のプロセッサが、前記複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとの時間に応じた前記ユーザの呼吸による変位を解析することに基づいたスクリーニング結果を出力することとを含む、非接触で呼吸器の健康状態をモニタリングするための方法。
  22. 前記スクリーニング結果は、前記ユーザが奇異呼吸を抱えていることを示す、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  23. 前記ビームステアリング処理は、WDAS(重み付き遅延和)ビームステアリングを適用して、前記複数の照準が合わせられた空間ゾーンレーダーデータストリームを作成することを含む、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  24. 前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて、ユーザの呼吸による変位を判定することは、
    前記複数の照準が合わせられた空間ゾーンレーダーデータストリームのうち、照準が合わせられた空間ゾーンレーダーデータストリームごとに位相値を判定することを含む、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  25. 前記複数の照準が合わせられた空間ゾーンレーダーデータストリームの各照準が合わせられた空間ゾーンレーダーデータストリームについて前記ユーザの呼吸による変位を解析することは、予め訓練済みの機械学習モデルを適用することを含む、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  26. 前記予め訓練済みの機械学習モデルは、ニューラルネットワークである、請求項25に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  27. 前記複数の照準が合わせられた空間ゾーンの各照準が合わせられた空間ゾーンは、ユーザの体の異なる部分に対応する、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  28. 前記複数の照準が合わせられた空間ゾーンは、少なくとも3つの照準が合わせられた空間ゾーンを含む、請求項27に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
  29. 前記複数のレーダーデータストリームに基づいて、前記ユーザが睡眠状態にあり動いていないとステートマシンを用いて判定することをさらに含む、請求項21に記載の非接触で呼吸器の健康状態をモニタリングするための方法。
JP2023513780A 2020-08-28 2020-08-28 呼吸器の健康状態をモニタリングするための非接触デバイス Pending JP2023544245A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/048388 WO2022046072A1 (en) 2020-08-28 2020-08-28 Contactless device for respiratory health monitoring

Publications (1)

Publication Number Publication Date
JP2023544245A true JP2023544245A (ja) 2023-10-23

Family

ID=72603514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513780A Pending JP2023544245A (ja) 2020-08-28 2020-08-28 呼吸器の健康状態をモニタリングするための非接触デバイス

Country Status (6)

Country Link
US (1) US20230346265A1 (ja)
EP (1) EP4203782A1 (ja)
JP (1) JP2023544245A (ja)
KR (1) KR20230057392A (ja)
CN (1) CN116033868A (ja)
WO (1) WO2022046072A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022208945A1 (de) 2022-08-29 2024-02-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System und Verfahren zur kontaktlosen Vitalparametererfassung durch Erstellung eines Körpermodells basierend auf der Körperunterteilung entlang des Radar-Sichtfeldes

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002427B2 (en) * 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
US20130030257A1 (en) * 2010-05-14 2013-01-31 Kai Medical, Inc. Systems and methods for non-contact multiparameter vital signs monitoring, apnea therapy, apnea diagnosis, and snore therapy
KR20200103749A (ko) * 2017-12-22 2020-09-02 레스메드 센서 테크놀로지스 리미티드 모션 감지를 위한 장치, 시스템, 및 방법
CN113710151A (zh) * 2018-11-19 2021-11-26 瑞思迈传感器技术有限公司 用于检测呼吸障碍的方法和设备

Also Published As

Publication number Publication date
CN116033868A (zh) 2023-04-28
KR20230057392A (ko) 2023-04-28
US20230346265A1 (en) 2023-11-02
EP4203782A1 (en) 2023-07-05
WO2022046072A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN111655125B (zh) 用于健康和医学感测的设备、系统和方法
US20210398666A1 (en) Systems, apparatus and methods for acquisition, storage, and analysis of health and environmental data
AU2015361171B2 (en) Systems and methods of identifying motion of a subject
US20220047209A1 (en) Contactless sleep detection and disturbance attribution for multiple users
US20100292568A1 (en) Systems and methods for measurement of depth of breath and paradoxical breathing
KR20230048342A (ko) 비접촉식 수면 검출 및 방해 귀인
US20220218224A1 (en) Sleep tracking and vital sign monitoring using low power radio waves
Zhang et al. Sleep stages classification by CW Doppler radar using bagged trees algorithm
Liu et al. Human biometric signals monitoring based on wifi channel state information using deep learning
US11754676B2 (en) Precision sleep tracking using a contactless sleep tracking device
US11832961B2 (en) Contactless sleep detection and disturbance attribution
JP2023544245A (ja) 呼吸器の健康状態をモニタリングするための非接触デバイス
US11808839B2 (en) Initializing sleep tracking on a contactless health tracking device
US11627890B2 (en) Contactless cough detection and attribution
US20230329574A1 (en) Smart home device using a single radar transmission mode for activity recognition of active users and vital sign monitoring of inactive users
Han Respiratory patterns classification using UWB radar
Čuljak Method for analysis of sleep parameters based on ultra-wideband communication channel impulse response measurement

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326