JP7186887B2 - 呼吸検出システム及び呼吸検出方法 - Google Patents

Description

本発明は、呼吸検出システム及び呼吸検出方法に関する。

近年、レーダ等を用いて、被験者に装置が非接触な状態で、呼吸数等の生体情報を検出する手法が知られている。このようにして検出される呼吸数等により、健康状態の管理、生存の確認、又は、呼吸障害の検出等が行われる。

具体的には、ＦＭＣＷ（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ）センサを用いて、ＭＩＭＯ（ｍｕｌｔｉｐｌｅ－ｉｎｐｕｔ ｍｕｌｔｉｐｌｅ－ｏｕｔｐｕｔ）形式で呼吸を検出する方法が知られている。このような形式によって、レーダの正面又はＬＯＳ（Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ）上に被験者がいなくとも呼吸を検出する方法が提案されている（例えば、非特許文献１等）。

Ａ．Ａｈｍａｄ ｅｔ ａｌ．、"Ｖｉｔａｌ ｓｉｇｎｓ ｍｏｎｉｔｏｒｉｎｇ ｏｆ ｍｕｌｔｉｐｌｅ ｐｅｏｐｌｅ ｕｓｉｎｇ ａ ＦＭＣＷ ｍｉｌｌｉｍｅｔｅｒ－ｗａｖｅ ｓｅｎｓｏｒ"、ＩＥＥＥ Ｉｎｔ. Ｃｏｎｆ. ｏｎ ２０１８ ＩＥＥＥ Ｒａｄａｒ Ｃｏｎｆｅｒｅｎｃｅ（ＲａｄａｒＣｏｎｆ１８）、ｐｐ.１４５０‐１４５５,Ａｐｒ.２０１８.、［ｏｎｌｉｎｅ］、［令和１年７月３０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ.ｉｅｅｅ.ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／８３７８７７８＞

本発明は、上記の点に鑑みてなされたものであり、呼吸の検出精度を向上することを目的とする。

本呼吸検出システムは、
被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部と、
前記反射波の位相変動を算出する位相変動算出部と、
前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、
前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含むことを要件とする。

開示の技術によれば、呼吸の検出精度を向上できる。

呼吸検出システムの全体構成例を示す図である。 呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。 呼吸検出システムの機能構成例を示す図である。 呼吸検出システムによるオフライン処理の例を示す図である。 呼吸検出システムが検出の対象とする位置の設定例を示す図である。 送信する電波及び反射波の例を示す図である。 送信する電波及び反射波の関係例を示す図である。 反射波の受信例を示す図である。 位相変動の算出等を示す図である。 有人スペクトログラムの例を示す図である。 有人スペクトログラムの例を示す図である。 無人スペクトログラムの例を示す図である。 無人スペクトログラムの例を示す図である。 呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。 比較例のニューラルネットワークの構造例を示す図である。 呼吸検出システムによるオンライン処理の例を示す図である。 実験環境を示す図である。 実験におけるＭＩＭＯ ＦＭＣＷレーダのパラメータを示す図である。 実験諸元を示す図である。 実験結果を示す図である。 学習フェーズにおける構成例を示す図である。 実行フェーズにおける構成例を示す図である。

以下、発明を実施するための最適かつ最小限な形態について、図面を参照して説明する。なお、図面において、同一の符号を付す場合には、同様の構成であることを示し、重複する説明を省略する。また、図示する具体例は、例示であり、図示する以外の構成が更に含まれる構成であってもよい。

＜呼吸検出システムの全体構成例＞
図１は、呼吸検出システムの全体構成例を示す図である。例えば、呼吸検出システム１０は、送信器１１と、受信器１２と、情報処理装置１３とを有する構成である。

以下、説明において、送信器１１が電波１５を送信する方向（図では左右方向となる。）を「Ｙ軸方向」とする。そして、図における上下方向、いわゆる高さ方向を「Ｚ軸方向」とする。また、Ｙ軸方向に対して右手方向に直交する方向（図における奥行き方向となる。）を「Ｘ軸方向」とする。

送信器１１は、被験者１４に対して電波１５を送信する。例えば、送信器１１は、アンテナ及び電子回路等である。

受信器１２は、送信された電波１５が被験者１４に当たり、被験者１４から反射してくる電波（以下「反射波１６」という。）を受信する。例えば、受信器１２は、アンテナ及び電子回路等である。

このような送信器１１及び受信器１２によって、いわゆるＭＩＭＯ ＦＭＣＷレーダ等を構成する。

情報処理装置１３は、受信器１２が受信した反射波１６に対して信号処理を行う。例えば、情報処理装置１３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又は電子回路等である。

図２は、呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。例えば、情報処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下単に「ＣＰＵ１３１」という。）と、記憶装置１３２と、入力装置１３３と、出力装置１３４と、インタフェース１３５とを有するハードウェア構成である。

ＣＰＵ１３１は、演算装置及び制御装置の例である。

記憶装置１３２は、例えば、メモリ等の主記憶装置である。なお、記憶装置１３２は、ハードディスク等の補助記憶装置を更に有してもよい。

入力装置１３３は、ユーザによる操作等を入力する装置である。例えば、入力装置１３３は、キーボード又はマウス等である。

出力装置１３４は、ユーザに対して処理結果等を出力する装置である。例えば、出力装置１３４は、ディスプレイ等である。

インタフェース１３５は、有線又は無線の通信によって、ケーブル又はネットワーク等を介して外部装置とデータを送受信する装置である。例えば、インタフェース１３５は、コネクタ又はアンテナ等である。

このように、情報処理装置１３は、プログラム等に基づいて、ＣＰＵ１３１等の演算装置及び記憶装置１３２等を協働させて、様々な処理又は制御を行う。

なお、情報処理装置１３のハードウェア構成は、図示する構成に限られない。すなわち、情報処理装置１３は、更に演算装置、制御装置、記憶装置、入力装置、出力装置を外部又は内部に有するハードウェア構成でもよい。

＜機能構成例＞
図３は、呼吸検出システムの機能構成例を示す図である。例えば、呼吸検出システム１０は、送信部１０１と、受信部１０２と、位相変動算出部１０３と、生成部１０４と、呼吸数推定部１０６とを含む機能構成である。なお、図示するように、呼吸検出システム１０は、パラメータ設定部１０５を更に含む機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。また、各機能ブロックの具体的な機能については、後述する。

送信部１０１は、例えば、送信器１１等で実現する。

受信部１０２は、例えば、受信器１２等で実現する。

位相変動算出部１０３、生成部１０４、パラメータ設定部１０５、及び、呼吸数推定部１０６等は、例えば、情報処理装置１３等で実現する。

なお、呼吸検出システム１０は、図示する以外の機能構成を更に有してもよい。

＜オフライン処理例＞
図４は、呼吸検出システムによるオフライン処理の例を示す図である。オフライン処理は、呼吸数の推定を行う前に事前処理として行われる。すなわち、オフライン処理は、オフライン処理があらかじめ行われたのを前提に行われる処理（いわゆる本処理又は実行処理等である。以下「オンライン処理」という。）の前処理として行われる。また、オフライン処理は、いわゆる学習処理を含む処理である。

（検出対象とする位置の設定例）（ステップＳ１１）
ステップＳ１１では、送信部１０１及び受信部１０２には、検出対象とする位置、すなわち人の胸壁（胸部）の位置が設定される。例えば、検出対象となる位置は、以下のように設定される。

図５は、呼吸検出システムが検出の対象とする位置の設定例を示す図である。以下、送信器１１に対して正面となる位置２０を角度θが「０°」であるとする。また、図において、「０°」より右側（すなわち、時計回り方向である。）の角度を「プラス」とし、一方で、「０°」より左側（すなわち、反時計回り方向である。）の角度を「マイナス」とする。

また、送信器１１に対する位置２０までの距離、すなわち、電波を飛ばす距離を「距離ｄ」とする。したがって、高さ（Ｚ軸方向における位置となる。）を一定とすると、それぞれの位置２０は、距離ｄ及び角度θが定まると平面上（すなわち、Ｘ－Ｙ面上である。）における位置が一意に定まる。

例えば、電波の送信先となる位置２０を所定の距離ごと、及び、所定の角度ごととすると、検出対象とするそれぞれの位置２０及び検出の範囲を設定できる。なお、位置の設定方法は、距離ｄ及び角度θを設定する方法でなくともよい。例えば、座標値等を入力して位置２０が設定されてもよい。

また、角度θは、１０°ごと、かつ、距離ｄは、０．１ｍごとであるのが望ましい。区切られた各空間は、人物が１人分程度であるのが望ましい。したがって、電波が１０°ごと、かつ、０．１ｍごとに飛ばされると、人物の大きさに対してちょうどよい空間が設定できる場合が多い。

（電波の送信例）（ステップＳ１２）
ステップＳ１２では、送信部１０１は、電波を送信する。すなわち、送信部１０１は、ステップＳ１１で定まったそれぞれの位置２０に対して、電波を送信する。

なお、検出対象となる位置等は、例えば、ステップＳ１１等で図５に示すように決まる。ただし、センサ設置の際等には、検出対象とする範囲を大まかに決める程度でもよい。そして、図５のような位置決めは、例えば、ステップＳ１２又はその後の処理等で行ってもよい。

（反射波の受信例）（ステップＳ１３）
ステップＳ１３では、受信部１０２は、反射波を受信する。すなわち、受信部１０２は、ステップＳ１２で送信された電波の反射波を受信する。

（位相変動の算出例）（ステップＳ１４）
ステップＳ１４では、位相変動算出部１０３は、呼吸による胸壁の動きによって変動する反射波の位相、すなわち位相変動を算出する。

（フーリエ変換例）（ステップＳ１５）
ステップＳ１５では、生成部１０４は、位相変動に対してフーリエ変換を行う。例えば、生成部１０４は、ＳＴＦＴ（Ｓｈｏｒｔ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等で変換を行う。

（スペクトログラムの生成例）（ステップＳ１６）
ステップＳ１６では、生成部１０４は、スペクトログラムを生成する。

ステップＳ１２乃至ステップＳ１６は、例えば、以下のように行われる。

図６は、送信する電波及び反射波の例を示す図である。例えば、ステップＳ１２によって、位置２０に対して、送信器１１から送信される電波１５は、（１）式に示す「ｘ（ｔ）」のような信号となる。一方で、反射波１６は、（２）式に示す「ｒ（ｔ）」のような信号となる。以下、時間を「ｔ」とする。また、検出対象となる位置２０の任意の１点と、送信器１１及び受信器１２（図では分けて記載しているが、送信器１１及び受信器１２は、同じ位置である、すなわち、電波を送受信する位置は同一の位置であるとする例で説明する。）の距離を「Ｒ（ｔ）」とする。

（１）式及び（２）式において、「Ａ」は、信号における受信強度を示す。また、（１）式等における「Ｂ」、「Ｔｃ」、「ｆｃ」、「ｔｄ」、及び「ｆｂ」は以下のような値である。

図７は、送信する電波及び反射波の関係例を示す図である。例えば、電波１５、すなわち、「ｘ（ｔ）」は、周波数変化幅「Ｂ」の範囲で値が時間に対して変化する（いわゆる掃引である。）ように設定される。

「ｆｃ」は、いわゆる初期周波数である。したがって、電波１５は、初期周波数「ｆｃ」に対して周波数変化幅「Ｂ」の範囲で周波数が時間「ｔ」によって変化する。

「Ｔｃ」は、いわゆる掃引時間である。掃引時間「Ｔｃ」は、電波１５の周波数が初期周波数「ｆｃ」から時間「ｔ」によって変化して、また「ｆｃ」に戻るまでの時間をいう。

「ｔｄ」は、（３）式に示すような値である。以下、「ｔｄ」を「受信時間」という。すなわち、受信時間「ｔｄ」は、電波１５が送信器１１から送信されてから、反射波１６となって受信器１２で受信されるまでの時間である。

また、「ｃ」は、電磁波の速度を示す。以下、「ｃ」を「電磁波速度」という。

そして、反射波１６を以下のように受信する。

図８は、反射波の受信例を示す図である。例えば、受信器及び位置２０の距離が「ｄ_１・・・ｄ_ｋ・・・ｄ_Ｋ」というように、受信器は、複数の距離で反射波を受信する。それぞれの位置で受信する反射波の周波数を「ｙ_１（ｔ）」・・・「ｙ_ｋ（ｔ）」・・・「ｙ_Ｋ（ｔ）」とすると、それぞれの反射波周波数「ｙ（ｔ）」は、（４）式のように示せる。

（４）式等における「ｆｂ」は、送信する電波と反射波の周波数差（以下単に周波数差「ｆｂ」という。）である。例えば、周波数差「ｆｂ」は、（５）式に示すような値となる。

（４）式等における「Φ（ｔ）」は、位相を示す。例えば、位相「Φ（ｔ）」は、（６）式に示すような値となる。

（４）式等における「Δφ（ｔ）」は、位相変動を示す。例えば、位相変動「Δφ（ｔ）」は、（７）式に示すような値となる。

それぞれの受信器のうち、「ｋ」番目の受信器における重み係数を「ｗｋ」とする。重み係数「ｗｋ」は、あらかじめ設定される値となる。このような重み係数「ｗｋ」を用いると、例えば、（８）式に示すように特定角度に対する反射波「Ｙ（ｔ）」を加重平均で計算できる。

そして、位相変動算出部は、様々な位置で反射波を受信した結果、すなわち、「ｙ_１（ｔ）」・・・「ｙ_ｋ（ｔ）」・・・「ｙ_Ｋ（ｔ）」に基づいて、例えば、以下のように、それぞれの位相変動を算出する。

図９は、位相変動の算出等を示す図である。例えば、「Ｍ_ｌ」箇所の位置で受信が行われると、それぞれの受信結果から、位相変動「φ_１（ｔ）」・・・「φ_ｍ（ｔ）」・・・「φ_Ｍl（ｔ）」が算出される（ステップＳ１４）。

次に、位相変動「φ_１（ｔ）」・・・「φ_ｍ（ｔ）」・・・「φ_Ｍl（ｔ）」に対して、ＳＴＦＴが行われると（ステップＳ１５）、「Ｍ_ｌ」個のスペクトログラムが生成できる。

なお、「Φ（ｔ）」、「φ_ｍ（ｔ）」及び「φ（ｔ）」は、いずれも位相を指す。ただし、「Δφ（ｔ）」（下付きの文字がない変数で示す。）等は、位相変動「φ_ｍ（ｔ）」（下付きの文字がある変数で示す。）を要素ごとに分解した時の一部を示す。

なお、スペクトログラムは、例えば、以下のように、検出対象とする位置に人物がいる場合といない場合とに分けて生成されるのが望ましい。

図１０Ａ及び図１０Ｂは、有人スペクトログラムの例を示す図である。図では、縦軸を周波数とし、横軸を受信がされた時間とする。例えば、ステップＳ１１で設定される位置に、人物がいると、図１０Ａ又は図１０Ｂのようなスペクトログラムが生成される場合が多い。以下、このように、人物がいる状態で生成されたスペクトログラムを「有人スペクトログラム」という。一方で、人物がいない状態で生成されたスペクトログラムを「無人スペクトログラム」という。

スペクトログラムは、時間に対する反射波に含まれる各周波数の強度を示す。したがって、スペクトログラムは、同じ時間（横軸の値が同一の場合である。）において、受信した反射波に、どのような周波数成分が含まれるか（縦軸における強度の分布である。）を時間変化に対して示す。

横軸に示すように、スペクトログラムは、２０秒等というように、１５乃至５０秒の時間単位で生成されるのが望ましい。図における横軸、すなわち、スペクトログラムが生成される時間の単位は、ステップＳ１５におけるＳＴＦＴのウィンドウサイズである。したがって、図１０Ａ及び図１０Ｂに示すスペクトログラムは、いずれも２０秒のウィンドウサイズを設定したＳＴＦＴによって生成されるスペクトログラムの例である。

なお、図１０Ａ及び図１０Ｂに示すスペクトログラムは、ステップサイズは０．５秒の例である。

例えば、２０秒程度のウィンドウサイズでＳＴＦＴにより、フーリエ変換が行えると、０．１Ｈｚ刻み程度で呼吸の周波数を検出できる。人物の呼吸数は、０．１Ｈｚ（すなわち、１分間に被験者が６回の呼吸を行うことである。被験者が安静な状態等である。）乃至１．０Ｈｚ（すなわち、１分間に被験者が６０回の呼吸を行うことである。被験者が運動をした後の状態等である。）の範囲であることがほとんどである。

また、ウィンドウサイズが５０秒を超える、すなわち、１分程度以上であると、スペクトログラムを生成している間に、被験者の呼吸数が変化してしまう場合が多い。

したがって、ウィンドウサイズは、５０秒より大きい値が設定されると、被験者の呼吸数が処理前から変化してしまう場合が多い。一方で、ウィンドウサイズが１５乃至５０秒程度であると、呼吸数が精度良く検出できる。すなわち、被験者の呼吸数がそれほど変化する前に検出ができ、かつ、呼吸数を検出するのに適した分解能を確保できる。

有人スペクトログラムは、０．３Ｈｚ程度を中心に、０．２Ｈｚ乃至０．４Ｈｚ程度が高強度となる場合が多い。ただし、人物の健康状態又は運動状態等によって、高強度となる周波数は異なる。以下、高強度となる範囲を「高強度帯域３０」という。すなわち、有人スペクトログラムは、例えば、図示するように０．３Ｈｚ及び０．３Ｈｚの倍数の範囲が高強度帯域３０となる場合が多い。

高強度帯域３０は、人物が呼吸をすることで胸壁が動作する周波数を含む。すなわち、この例は、０．３Ｈｚの呼吸を行う人物が検出位置にいる場合に生成された例である。

一方で、人物がいない場合には、以下のような無人スペクトログラムが生成される。

図１１Ａ及び図１１Ｂは、無人スペクトログラムの例を示す図である。有人スペクトログラムと比較すると、無人スペクトログラムは、図１１Ａ及び図１１Ｂに示すいずれにも、高強度帯域がない点が異なる。

このような有人スペクトログラム、及び、無人スペクトログラムの両方を用いて機械学習が行われるのが望ましい。このように、有人スペクトログラム、及び、無人スペクトログラムの両方について機械学習が行われると、検出を行う環境、すなわち、検出が行われる屋内にある家具等の影響を精度良く学習できる。つまり、有人スペクトログラム、及び、無人スペクトログラムの両方をいわゆる学習データに用いると、機械学習では、環境の影響を学習できるので、より精度良く呼吸数を検出できる。

（スペクトログラムを用いた機械学習例）（ステップＳ１７）
ステップＳ１７では、パラメータ設定部１０５は、スペクトログラムを用いて機械学習を行う。

なお、パラメータ設定部１０５は、以下のような畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）（ＣＮＮ）で行われるのが望ましい。

図１２は、呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。このように、パラメータ設定部１０５は、画像処理に適するニューラルネットワークを用いて学習を行うのが望ましい。

畳み込みニューラルネットワーク２０００には、スペクトログラム１００が入力される。そして、スペクトログラム１００が入力されると、パラメータ設定部１０５は、学習処理において、以下のような処理順序及び処理構成で学習を行うのが望ましい。

畳み込みニューラルネットワーク２０００では、畳み込み１００１、ドロップアウト１００２、畳み込み１００３、プーリング１００４、ドロップアウト１００５、畳み込み１００６、ドロップアウト１００７、畳み込み１００８、プーリング１００９の順序で処理が行われた後、全結合１０１０の処理が行われるのが望ましい。ただし、畳み込みニューラルネットワーク２０００では、図示する以外の処理が更に行われてもよい。

畳み込みは、あらかじめ設定されるフィルタ（なお、フィルタに設定されるフィルタ係数は、学習によって更新されていってもよい。）を用いて、対象とする画像（この例では、スペクトログラム１００が画像の扱いとなる。以下、スペクトログラム１００を画像として扱う場合を例に説明する。したがって、この例では、スペクトログラム１００が有する時間に対する各周波数の強度を示すデータが「画素」として扱われる。）が有する画素にフィルタ係数をかけあわせていく処理等である。すなわち、畳み込みでは、フィルタを用いて、いわゆるスライディングウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）等と呼ばれる処理等が行われる。このように、畳み込みの処理が行われると、いわゆる特徴マップが出力される。

例えば、畳み込み１００１及び畳み込み１００３では、「３２ Ｃｏｎｖ．（３×３）」は、「３×３」のサイズとなるフィルタを「３２個」用いる設定であることを示す。一方で、畳み込み１００６及び畳み込み１００８は、「３２ Ｃｏｎｖ．（２×２）」であり、フィルタのサイズが「２×２」である点が異なる。

ドロップアウトは、いわゆる過学習を防ぐための処理となる。過学習は、学習データにだけに含まれる特徴にまで最適化がされてしまい、実際のデータでは正解率が下がってしまう現象である。例えば、ドロップアウトは、全結合と出力層の接続のうち、一部の接続を切断する等の処理となる。

具体的には、ドロップアウト１００２では、畳み込み１００１の出力のうち、一部の出力を後段の処理となる畳み込み１００３等に入力しないようにする等である。なお、畳み込み１００１による出力のうち、どのような出力をドロップアウト１００２で後段に出力しないようにするかは、例えば、ランダムで選択される。同様に、ドロップアウト１００５及びドロップアウト１００７でも、前段で行われる処理である、プーリング１００４、又は、畳み込み１００６による出力の一部を後段の処理に入力しないようにする。なお、どの程度をドロップアウトさせるか、いわゆるドロップアウト率等のパラメータは、例えば、「２５％」のように、あらかじめ設定される。

プーリングは、例えば、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）等である。「ｍａｘ ｐｏｏｌｉｎｇ」では、所定のウィンドウ内にある画素のうち、最大値となる画素が抽出される。このように、畳み込みが行われた画像に対してプーリングを行うと、画像が持つデータを圧縮できる。すなわち、プーリングは、いわゆるダウンサイジング等になる。

さらに、プーリングが行われると、所定のウィンドウ内での微小な違いは吸収される場合が多いため、数画素程度の微小な位置変化があっても、ロバストに特徴を認識できる。また、プーリングが行われると、データの数が少なくなる場合が多いため、後段の処理等で計算コストを少なくできる。

例えば、プーリング１００４では、「Ｐｏｏｌ．（１×３）」は、「１×３」のサイズとなるウィンドウを用いることを示す。同様に、プーリング１００９では、「Ｐｏｏｌ．（２×２）」は、「２×２」のサイズとなるウィンドウを用いることを示す。

全結合は、前段の処理による複数の出力に対して、重み付けを行い、総和を計算する等の処理を行う。また、全結合は、活性化関数等で重み等が設定される。活性化関数は、例えば、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ、ランプ関数）等である。

全結合１０１０では、前段のプーリング１００９による出力結果が活性化関数等で計算される。例えば、全結合１０１０は、「０．１Ｈｚ」、「０．２Ｈｚ」、・・・、「０．９Ｈｚ」、「１．０Ｈｚ」、及び、「呼吸なし（すなわち、周波数は「０Ｈｚ」と同義である。）」の１１種類の周波数ごとに、それぞれの確率を出力する。すなわち、畳み込みニューラルネットワーク２０００では、それぞれの周波数で被験者が呼吸を行っている確率が算出される。そして、それぞれの確率に対して重み付けをする算出、すなわち、加重平均を計算すると、検出位置で被験者が行っている呼吸の呼吸数を検出できる。

このように、機械学習によって、呼吸数が精度良く検出されるように、呼吸を行っていると判断する周波数の領域、すなわち、高強度帯域３０等が学習され、学習の結果、最適化されてパラメータとして設定されるのが望ましい。なお、パラメータは、ドロップアウト率等が対象となってもよい。

なお、機械学習に基づいて変更されるパラメータには、畳み込み及びプーリングで用いるフィルタサイズが含まれるのが望ましい。フィルタサイズは、精度によく影響するパラメータである。したがって、フィルタサイズが最適化されると、精度をよくすることができる。

なお、呼吸数は、周波数の形式で検出されるに限られない。例えば、呼吸数は、「単位時間あたり（例えば、１分間あたり等である。）における呼吸数」（単位は、「回／分」等である。）、何回かの推定結果を平均した値（移動平均等の統計値でもよい。）等の形式で出力されてもよい。

＜比較例＞
図１３は、比較例のニューラルネットワークの構造例を示す図である。例えば、畳み込み、ドロップアウト、プーリング、及び、全結合が１つずつ程度の構造である比較例を説明する。比較例は、図１２と比較すると、畳み込み、ドロップアウト、及び、プーリング等の処理が行われる順序及び処理の回数等が異なる。

比較例のような構造のニューラルネットワークでは、十分な精度が出ない場合が多い。

＜オンライン処理例＞
オンライン処理は、あらかじめオフライン処理が行われた後、すなわち、学習処理によって学習が行われた後に行われる処理である。すなわち、オンライン処理は、学習データを用いる学習処理となるオフライン処理に対して、本番となるデータを用いた本処理となる。

図１４は、呼吸検出システムによるオンライン処理の例を示す図である。オフライン処理と比較すると、ステップＳ２０となる点が異なる。以下、異なる点を中心に説明し、オフライン処理と同様の処理の説明を省略する。

（スペクトログラムに基づく呼吸数の推定例）（ステップＳ２０）
ステップＳ２０では、呼吸数推定部１０６は、本番となるデータによって生成されたスペクトログラムに基づいて、呼吸数を推定する。このような処理で呼吸数を推定する実験の結果を以下に示す。

＜実験結果＞
図１５は、実験環境を示す図である。この実験では、送信器及び受信器の例となる、ＭＩＭＯ ＦＭＣＷレーダ３００を用いた。ＭＩＭＯ ＦＭＣＷレーダ３００は、以下のようなパラメータの装置である。

図１６は、実験におけるＭＩＭＯ ＦＭＣＷレーダのパラメータを示す図である。

「アンテナ数」における「Ｔｘ」は、送信用のアンテナの数を示す。したがって、この実験では、「２個」のアンテナで電波を送信したことになる。

「アンテナ数」における「Ｒｘ」は、受信用のアンテナの数を示す。したがって、この実験では、「４個」のアンテナで反射波を受信したことになる。

「送信周波数」は、送信した電波の周波数である。なお、電波に用いられる周波数は、「２４．１５Ｈｚ」以外の周波数でもよい。例えば、周波数は、１００ＭＨｚ乃至１００ＧＨｚ程度であってもよい。

「掃引周波数」は、周波数を掃引した幅を示す。図７における「Ｂ」となる。

「掃引時間」は、掃引を行った時間を示す。図７における「Ｔｃ」となる。

「サンプリング周波数」は、反射波をサンプリングする分解能である。

「位相信号のサンプリング周波数」は、ステップＳ１４で算出される位相変動信号をサンプリングする周波数である。

「アンテナの指向性」は、電波を送受信する角度を示す。

そして、図１５に示す実験環境における「Ｌｏｃａｔｉｏｎ １」乃至「Ｌｏｃａｔｉｏｎ ５」の位置を検出位置として以下のような実験諸元で実験を行った。

図１７は、実験諸元を示す図である。

「被験者数」が示すように、本実験は、２人が「Ｌｏｃａｔｉｏｎ １」乃至「Ｌｏｃａｔｉｏｎ ５」の位置にいる場合を主に対象として実験を行った。

「観測ごとの被験者数」は、各位置に一度に存在する被験者の人数を示す。この実験では、「１人」、すなわち、各位置に１人の被験者がいる場合で実験を行った。

「観測時間」は、データを計測した時間、すなわち、電波を送信し、反射波を受信していた時間を示す。

「レーダの設置高」は、ＭＩＭＯ ＦＭＣＷレーダ３００を設置した高さである。すなわち、この実験は、電波及び反射波は、「１ｍ」の高さで送受信されたことを示す。

「被験者の体勢」は、「仰向け」、「うつ伏せ」、及び、「横向き」の３種類の体勢であったことを示す。

「θ」は、電波を送信する角度である。図示するように、この実験では、１０°ごとに電波を送信した。

「ｄ」は、電波を飛ばす距離である。図示するように、この実験では、０．１ｍごとに電波を送信した。

「評価指標」は、呼吸検出システムが推定した呼吸数を評価する指標を示す。図示するように、被験者は、自身で呼吸を行った回数を数えてもらい、被験者が申告する呼吸数が「正しい」呼吸数であるとする。したがって、被験者が申告する呼吸数と、呼吸検出システムが推定した呼吸数を比較して、回数の違いを絶対誤差とする。絶対誤差は、値が小さいほど高精度という評価になる。

図１８は、実験結果を示す図である。横軸は、被験者の位置を「Ｌｏｃａｔｉｏｎ １」乃至「Ｌｏｃａｔｉｏｎ ５」で示す。一方で、縦軸は、絶対誤差、すなわち、評価結果を示す。なお、縦軸の単位は、「ｂｒｅａｔｈ ｐｅｒ ｍｉｎｕｔｅ」、すなわち、「回／分」である。

図示するように、呼吸検出システムは、呼吸数を精度良く推定できた。具体的には、「Ｌｏｃａｔｉｏｎ １」では、平均で絶対誤差は「０．３４ｂｐｍ」であった。また、「Ｌｏｃａｔｉｏｎ ２」では、平均で絶対誤差は「０．７２ｂｐｍ」であった。さらに、「Ｌｏｃａｔｉｏｎ ４」では、平均で絶対誤差は「１．１８ｂｐｍ」であった。さらにまた、「Ｌｏｃａｔｉｏｎ ５」では、平均で絶対誤差は「０．５０ｂｐｍ」であった。

このように、「Ｂｅｄ」、「Ｔａｂｌｅ」、「Ｓｈｅｌｆ」及び「Ｐｉｌｌａｒ」等といった家具等が置かれるような屋内の環境等であっても、呼吸を検出する精度を向上させることができる。

＜機構部を有する例＞
呼吸検出システムは、送信部が送信する電波の角度を変更する機構部を更に有してもよい。具体的には、呼吸検出システムは、電波を送信するアンテナ等をアクチュエータ又はアンテナが向く向きを変更する機構部品等を有する。つまり、機構部は、アクチュエータ等によって自動的に角度を変更する構成でもよいし、又は、手動でアンテナの向きを変更できるような構成でもよい。このような機構部があると、呼吸検出システムは、電波を送信する角度等を変更できる。したがって、１つのアンテナであっても、異なる角度となる位置に向かって電波を送信できる。

ゆえに、機構部を有する構成であると、呼吸検出システムは、送信部を実現するアンテナ等の部品を少なくできる。

＜実行フェーズ及び学習フェーズにおける構成の違い＞
呼吸検出システムは、図１９及び図２０に示すように、機械学習を行う場面と、機械学習等によってパラメータが設定された、いわゆる学習済み状態下で実行する場面とで構成が異なってもよい。

図１９は、学習フェーズにおける構成例を示す図である。例えば、図４に示すような処理を実行する、すなわち、機械学習を行う構成は、図示するような構成で行われる。

例えば、パラメータ設定部１０５は、いわゆる学習部等を有し、教師データとなる学習用スペクトログラム１００Ａを用いて学習を行う。

学習用スペクトログラム１００Ａによって機械学習が行われた結果に基づいて、例えば、呼吸数推定部１０６が用いるパラメータが更新される。すなわち、パラメータ設定部１０５は、学習用スペクトログラム１００Ａに基づいて呼吸数推定部１０６のパラメータを設定する。以下、学習フェーズにおけるパラメータを「学習中パラメータＰ１」という。このように、ＣＮＮ等の機械学習では、入力されるスペクトログラム等が畳み込み層又はプーリング層等により圧縮され、圧縮したデータを真のラベルと結びつける。学習フェーズでは、このような処理を学習データごとに繰り返すことでパラメータ等が最適化される。

実行フェーズに用いられるパラメータ（以下「実行用パラメータＰ２」という。）は、例えば、学習中パラメータＰ１等に対して、機械学習により、複数回更新を行うことで生成される。

ただし、実行用パラメータＰ２は、機械学習のみで生成されるものに限られない。例えば、学習フェーズによって生成されたパラメータに対して、更に手動でパラメータが修正されて実行用パラメータＰ２が生成されてもよい。

また、実行用パラメータＰ２は、実行用スペクトログラム１００Ｂによって機械学習が行われて更新されてもよい。つまり、実行用パラメータＰ２は、最初に、機械学習の方法又は機械学習以外の方法で生成されて外部から入力される。その後、実行用スペクトログラム１００Ｂによって機械学習が行われて更新されてもよい。このような場合には、実行フェーズであっても、出力に対して評価が入力されてもよい。

図２０は、実行フェーズにおける構成例を示す図である。学習フェーズと比較すると、実行フェーズは、パラメータ設定部１０５が接続されない点が異なる。例えば、パラメータ設定部１０５がプログラムで実現されるような場合には、実行フェーズでは、パラメータ設定部１０５は、実行用パラメータＰ２を更新しない構成等である。ただし、実行用パラメータＰ２を更新する構成であれば、パラメータ設定部１０５を実現するプログラムがインストールされた状態で実行フェーズが行われてもよい。

＜その他の実施形態＞
例えば、送信器、受信器、又は、情報処理装置は、複数の装置であってもよい。すなわち、処理及び制御は、仮想化、並行、分散又は冗長して行われてもよい。一方で、送信器、受信器及び情報処理装置は、ハードウェアが一体又は装置を兼用してもよい。

パラメータ設定部は、学習により、パラメータとして、呼吸推定部、すなわち、学習済みモデル等を変更してもよい。具体的には、パラメータ設定部は、学習結果に基づいて呼吸推定部のパラメータを変更してもよい。このように学習結果を呼吸推定部に反映させていく構成であってもよい。

また、呼吸推定部における学習による更新は、呼吸検出システムを構成する装置が有する演算装置で処理及び制御を行う構成でもよい。一方で、呼吸推定部における学習による更新は、ネットワーク等を介して接続する学習部等が行ってもよい。すなわち、学習部等は、ネットワーク等を介して利用できるクラウド等で実現されてもよい。

さらに、パラメータ設定部は、機械学習等によって、ニューラルネットワーク以外の構成で学習処理等を行ってもよい。具体的には、呼吸検出システムは、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等を利用する構成であればよい。例えば、パラメータ設定部は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又はＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）等といった機械学習を行う構造で実現されてもよい。また、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔｓ）等の機械学習アルゴリズムが用いられてもよい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ等の低水準言語又はオブジェクト指向言語等の高水準言語で記述され、コンピュータに呼吸検出方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、呼吸検出装置、又は、情報処理装置等を含む呼吸検出システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

したがって、プログラムに基づいて各処理が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。

本国際出願は２０１９年８月２３日に出願された日本国特許出願２０１９－１５２７５５号に基づく優先権を主張するものであり、２０１９－１５２７５５号の全内容をここに本国際出願に援用する。

１０ 呼吸検出システム
１１ 送信器
１２ 受信器
１３ 情報処理装置
１４ 被験者
１５ 電波
１６ 反射波
２０ 位置
３０ 高強度帯域
１００ スペクトログラム
１０１ 送信部
１０２ 受信部
１０３ 位相変動算出部
１０４ 生成部
１０５ パラメータ設定部
１０６ 呼吸数推定部
３００ ＦＭＣＷレーダ
１００１ 畳み込み
１００２ ドロップアウト
１００３ 畳み込み
１００４ プーリング
１００５ ドロップアウト
１００６ 畳み込み
１００７ ドロップアウト
１００８ 畳み込み
１００９ プーリング
１０１０ 全結合
２０００ 畳み込みニューラルネットワーク
ｄ 距離
θ 角度

Claims (10)

1. 被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
   前記電波が反射した反射波を受信する受信部と、
   前記反射波の位相変動を算出する位相変動算出部と、
   前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成部と、
   前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部と、
   前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定部のパラメータを設定するパラメータ設定部と、
   を含み、
   前記パラメータ設定部が、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
   呼吸検出システム。
2. 前記送信部及び前記受信部が、複数のアンテナを有する、請求項１に記載の呼吸検出システム。
3. 前記送信部が、前記電波を送信する角度を変更する機構部を更に含む、請求項１又は２に記載の呼吸検出システム。
4. 前記生成部が、ウィンドウサイズが１５乃至５０秒のフーリエ変換で前記スペクトログラムを生成する、請求項１乃至３のいずれか１項に記載の呼吸検出システム。
5. 前記電波を１０°ごと、かつ、前記電波を飛ばす距離を０．１ｍごとにする、請求項１乃至４のいずれか１項に記載の呼吸検出システム。
6. 前記生成部が、前記被験者がいる場合の有人スペクトログラムと、前記被験者がいない場合の無人スペクトログラムとを生成し、
   前記機械学習が、前記有人スペクトログラムの画像、及び、前記無人スペクトログラムの画像の両方を用いて機械学習を行う、
   請求項１乃至５のいずれか１項に記載の呼吸検出システム。
7. 前記生成部が、前記送信部に対する前記被験者の向きごとに、それぞれのスペクトログラムを生成し、
   前記機械学習が、前記スペクトログラムの画像に基づいて機械学習を行う、請求項１乃至６のいずれか１項に記載の呼吸検出システム。
8. 前記機械学習が、ニューラルネットワークで前記機械学習を行う、請求項１乃至７のいずれか１項に記載の呼吸検出システム。
9. 前記ニューラルネットワークでは、前記スペクトログラムの畳み込み、ドロップアウト、畳み込み、プーリング、ドロップアウト、畳み込み、ドロップアウト、畳み込み、プーリングの順序で処理が行われる、請求項８に記載の呼吸検出システム。
10. 被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
    前記電波が反射した反射波を受信する受信部とを有する呼吸検出システムが行う呼吸検出方法であって、
    呼吸検出システムが、前記反射波の位相変動を算出する位相変動算出手順と、
    呼吸検出システムが、前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成手順と、
    呼吸検出システムが、前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定手順と、
    呼吸検出システムが、前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定手順のパラメータを設定するパラメータ設定手順と、
    を含み、
    前記パラメータ設定手順において、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
    呼吸検出方法。

Images