JP7186887B2 - 呼吸検出システム及び呼吸検出方法 - Google Patents
呼吸検出システム及び呼吸検出方法 Download PDFInfo
- Publication number
- JP7186887B2 JP7186887B2 JP2021542822A JP2021542822A JP7186887B2 JP 7186887 B2 JP7186887 B2 JP 7186887B2 JP 2021542822 A JP2021542822 A JP 2021542822A JP 2021542822 A JP2021542822 A JP 2021542822A JP 7186887 B2 JP7186887 B2 JP 7186887B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrogram
- detection system
- subject
- respiration
- reflected wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 63
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 75
- 238000010801 machine learning Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 21
- 230000000241 respiratory effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 230000036387 respiratory rate Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 33
- 238000002474 experimental method Methods 0.000 description 14
- 230000010365 information processing Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000000779 thoracic wall Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部と、
前記反射波の位相変動を算出する位相変動算出部と、
前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、
前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含むことを要件とする。
図1は、呼吸検出システムの全体構成例を示す図である。例えば、呼吸検出システム10は、送信器11と、受信器12と、情報処理装置13とを有する構成である。
図3は、呼吸検出システムの機能構成例を示す図である。例えば、呼吸検出システム10は、送信部101と、受信部102と、位相変動算出部103と、生成部104と、呼吸数推定部106とを含む機能構成である。なお、図示するように、呼吸検出システム10は、パラメータ設定部105を更に含む機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。また、各機能ブロックの具体的な機能については、後述する。
図4は、呼吸検出システムによるオフライン処理の例を示す図である。オフライン処理は、呼吸数の推定を行う前に事前処理として行われる。すなわち、オフライン処理は、オフライン処理があらかじめ行われたのを前提に行われる処理(いわゆる本処理又は実行処理等である。以下「オンライン処理」という。)の前処理として行われる。また、オフライン処理は、いわゆる学習処理を含む処理である。
ステップS11では、送信部101及び受信部102には、検出対象とする位置、すなわち人の胸壁(胸部)の位置が設定される。例えば、検出対象となる位置は、以下のように設定される。
ステップS12では、送信部101は、電波を送信する。すなわち、送信部101は、ステップS11で定まったそれぞれの位置20に対して、電波を送信する。
ステップS13では、受信部102は、反射波を受信する。すなわち、受信部102は、ステップS12で送信された電波の反射波を受信する。
ステップS14では、位相変動算出部103は、呼吸による胸壁の動きによって変動する反射波の位相、すなわち位相変動を算出する。
ステップS15では、生成部104は、位相変動に対してフーリエ変換を行う。例えば、生成部104は、STFT(Short Time Fourier Transform)等で変換を行う。
ステップS16では、生成部104は、スペクトログラムを生成する。
ステップS17では、パラメータ設定部105は、スペクトログラムを用いて機械学習を行う。
図13は、比較例のニューラルネットワークの構造例を示す図である。例えば、畳み込み、ドロップアウト、プーリング、及び、全結合が1つずつ程度の構造である比較例を説明する。比較例は、図12と比較すると、畳み込み、ドロップアウト、及び、プーリング等の処理が行われる順序及び処理の回数等が異なる。
オンライン処理は、あらかじめオフライン処理が行われた後、すなわち、学習処理によって学習が行われた後に行われる処理である。すなわち、オンライン処理は、学習データを用いる学習処理となるオフライン処理に対して、本番となるデータを用いた本処理となる。
ステップS20では、呼吸数推定部106は、本番となるデータによって生成されたスペクトログラムに基づいて、呼吸数を推定する。このような処理で呼吸数を推定する実験の結果を以下に示す。
図15は、実験環境を示す図である。この実験では、送信器及び受信器の例となる、MIMO FMCWレーダ300を用いた。MIMO FMCWレーダ300は、以下のようなパラメータの装置である。
呼吸検出システムは、送信部が送信する電波の角度を変更する機構部を更に有してもよい。具体的には、呼吸検出システムは、電波を送信するアンテナ等をアクチュエータ又はアンテナが向く向きを変更する機構部品等を有する。つまり、機構部は、アクチュエータ等によって自動的に角度を変更する構成でもよいし、又は、手動でアンテナの向きを変更できるような構成でもよい。このような機構部があると、呼吸検出システムは、電波を送信する角度等を変更できる。したがって、1つのアンテナであっても、異なる角度となる位置に向かって電波を送信できる。
呼吸検出システムは、図19及び図20に示すように、機械学習を行う場面と、機械学習等によってパラメータが設定された、いわゆる学習済み状態下で実行する場面とで構成が異なってもよい。
例えば、送信器、受信器、又は、情報処理装置は、複数の装置であってもよい。すなわち、処理及び制御は、仮想化、並行、分散又は冗長して行われてもよい。一方で、送信器、受信器及び情報処理装置は、ハードウェアが一体又は装置を兼用してもよい。
11 送信器
12 受信器
13 情報処理装置
14 被験者
15 電波
16 反射波
20 位置
30 高強度帯域
100 スペクトログラム
101 送信部
102 受信部
103 位相変動算出部
104 生成部
105 パラメータ設定部
106 呼吸数推定部
300 FMCWレーダ
1001 畳み込み
1002 ドロップアウト
1003 畳み込み
1004 プーリング
1005 ドロップアウト
1006 畳み込み
1007 ドロップアウト
1008 畳み込み
1009 プーリング
1010 全結合
2000 畳み込みニューラルネットワーク
d 距離
θ 角度
Claims (10)
- 被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部と、
前記反射波の位相変動を算出する位相変動算出部と、
前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成部と、
前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部と、
前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定部のパラメータを設定するパラメータ設定部と、
を含み、
前記パラメータ設定部が、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
呼吸検出システム。 - 前記送信部及び前記受信部が、複数のアンテナを有する、請求項1に記載の呼吸検出システム。
- 前記送信部が、前記電波を送信する角度を変更する機構部を更に含む、請求項1又は2に記載の呼吸検出システム。
- 前記生成部が、ウィンドウサイズが15乃至50秒のフーリエ変換で前記スペクトログラムを生成する、請求項1乃至3のいずれか1項に記載の呼吸検出システム。
- 前記電波を10°ごと、かつ、前記電波を飛ばす距離を0.1mごとにする、請求項1乃至4のいずれか1項に記載の呼吸検出システム。
- 前記生成部が、前記被験者がいる場合の有人スペクトログラムと、前記被験者がいない場合の無人スペクトログラムとを生成し、
前記機械学習が、前記有人スペクトログラムの画像、及び、前記無人スペクトログラムの画像の両方を用いて機械学習を行う、
請求項1乃至5のいずれか1項に記載の呼吸検出システム。 - 前記生成部が、前記送信部に対する前記被験者の向きごとに、それぞれのスペクトログラムを生成し、
前記機械学習が、前記スペクトログラムの画像に基づいて機械学習を行う、請求項1乃至6のいずれか1項に記載の呼吸検出システム。 - 前記機械学習が、ニューラルネットワークで前記機械学習を行う、請求項1乃至7のいずれか1項に記載の呼吸検出システム。
- 前記ニューラルネットワークでは、前記スペクトログラムの畳み込み、ドロップアウト、畳み込み、プーリング、ドロップアウト、畳み込み、ドロップアウト、畳み込み、プーリングの順序で処理が行われる、請求項8に記載の呼吸検出システム。
- 被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部とを有する呼吸検出システムが行う呼吸検出方法であって、
呼吸検出システムが、前記反射波の位相変動を算出する位相変動算出手順と、
呼吸検出システムが、前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成手順と、
呼吸検出システムが、前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定手順と、
呼吸検出システムが、前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定手順のパラメータを設定するパラメータ設定手順と、
を含み、
前記パラメータ設定手順において、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
呼吸検出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152755 | 2019-08-23 | ||
JP2019152755 | 2019-08-23 | ||
PCT/JP2020/031523 WO2021039601A1 (ja) | 2019-08-23 | 2020-08-20 | 呼吸検出システム及び呼吸検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021039601A1 JPWO2021039601A1 (ja) | 2021-03-04 |
JP7186887B2 true JP7186887B2 (ja) | 2022-12-09 |
Family
ID=74685527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021542822A Active JP7186887B2 (ja) | 2019-08-23 | 2020-08-20 | 呼吸検出システム及び呼吸検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220280063A1 (ja) |
JP (1) | JP7186887B2 (ja) |
WO (1) | WO2021039601A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001017403A (ja) | 1999-07-08 | 2001-01-23 | Alps Electric Co Ltd | 生体信号検出装置 |
JP2013078413A (ja) | 2011-10-03 | 2013-05-02 | Tokyo Metropolitan Univ | 身体情報測定装置及び身体情報測定方法 |
JP2017513656A (ja) | 2014-04-28 | 2017-06-01 | マサチューセッツ インスティテュート オブ テクノロジー | 無線反射によるバイタルサインの監視 |
US20180260706A1 (en) | 2017-03-07 | 2018-09-13 | Alivecor, Inc. | Systems and methods of identity analysis of electrocardiograms |
JP2018161462A (ja) | 2017-03-27 | 2018-10-18 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置、及びプログラム |
JP2019512304A (ja) | 2016-03-11 | 2019-05-16 | オリジン ワイヤレス, インコーポレイテッドOrigin Wireless, Inc. | バイタルサインを検出及び監視する方法、装置、サーバ及びシステム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11012285B2 (en) * | 2012-12-05 | 2021-05-18 | Origin Wireless, Inc. | Methods, apparatus, servers, and systems for vital signs detection and monitoring |
EP3335632B1 (en) * | 2016-12-13 | 2022-11-23 | Alcatel Lucent | Method of and apparatus for monitoring one or more of a heartbeat and a respiration rate of a live vertebrate animal |
CN106901694A (zh) * | 2017-02-20 | 2017-06-30 | 广州视源电子科技股份有限公司 | 一种呼吸率提取方法及装置 |
US11185235B2 (en) * | 2017-03-27 | 2021-11-30 | Panasonic Intellectual Property Management Co., Ltd. | Information processing method, information processing device, and recording medium |
-
2020
- 2020-08-20 JP JP2021542822A patent/JP7186887B2/ja active Active
- 2020-08-20 WO PCT/JP2020/031523 patent/WO2021039601A1/ja active Application Filing
- 2020-08-20 US US17/637,407 patent/US20220280063A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001017403A (ja) | 1999-07-08 | 2001-01-23 | Alps Electric Co Ltd | 生体信号検出装置 |
JP2013078413A (ja) | 2011-10-03 | 2013-05-02 | Tokyo Metropolitan Univ | 身体情報測定装置及び身体情報測定方法 |
JP2017513656A (ja) | 2014-04-28 | 2017-06-01 | マサチューセッツ インスティテュート オブ テクノロジー | 無線反射によるバイタルサインの監視 |
JP2019512304A (ja) | 2016-03-11 | 2019-05-16 | オリジン ワイヤレス, インコーポレイテッドOrigin Wireless, Inc. | バイタルサインを検出及び監視する方法、装置、サーバ及びシステム |
US20180260706A1 (en) | 2017-03-07 | 2018-09-13 | Alivecor, Inc. | Systems and methods of identity analysis of electrocardiograms |
JP2018161462A (ja) | 2017-03-27 | 2018-10-18 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220280063A1 (en) | 2022-09-08 |
WO2021039601A1 (ja) | 2021-03-04 |
JPWO2021039601A1 (ja) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101413229B1 (ko) | 방향 추정 장치 및 방법 | |
JP2019518202A (ja) | 物体追跡のための方法、装置、サーバ及びシステム | |
US9121919B2 (en) | Target tracking device and target tracking method | |
Chen et al. | SpeedNet: Indoor speed estimation with radio signals | |
EP3977793A1 (en) | Proximity-based model for indoor localization using wireless signals | |
WO2017002103A1 (en) | System and method for implementing personal emergency response system based on uwb interferometer | |
Li et al. | On CSI and passive Wi-Fi radar for opportunistic physical activity recognition | |
JP7562021B2 (ja) | WLANセンシングフィールドのためのマルチバンドWi-Fi融合 | |
CN113260872A (zh) | 为生命体征监测提供图像单元 | |
US10784706B2 (en) | Wireless power transmitter and method for controlling the same | |
JP2020048285A (ja) | 無線電力伝送装置、無線電力伝送システム及び無線電力伝送方法 | |
JP2016142705A (ja) | 追跡システム、方法、およびプログラム | |
Wang et al. | Vital sign monitoring in dynamic environment via mmWave radar and camera fusion | |
EP4099897A1 (en) | System, method and computer program product for remote measurement of vital signs | |
KR20200106074A (ko) | 다중 채널 레이더에 의한 생활 편의 시설 모니터링 | |
US11346917B2 (en) | Information processing apparatus and information processing method | |
US11960791B2 (en) | Control of a motion tracking system by user thereof | |
JP7186887B2 (ja) | 呼吸検出システム及び呼吸検出方法 | |
Abdelgawwad et al. | A framework for activity monitoring and fall detection based on the characteristics of indoor channels | |
Toma et al. | CNN-based processing of radio frequency signals for augmenting acoustic source localization and enhancement in UAV security applications | |
Zandi et al. | Robot motion prediction by channel state information | |
CN115469303A (zh) | 一种检测人体姿态和生命体征的认知生物雷达方法与装置 | |
CN114063628A (zh) | 一种基于深度学习和雷达检测的无人机救灾系统及方法 | |
EP3800482A1 (en) | Object recognition method using radar, object recognition system, and method of updating primary classifier in object recognition system | |
Kaltiokallio et al. | Recursive Bayesian filters for RSS-based device-free localization and tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20220421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |