JP7163873B2 - 状態推定装置、状態推定システム及び状態推定方法 - Google Patents

Description

本発明は、利用者の状態を推定する状態推定装置、状態推定システム及び状態推定方法に関する。

従来、利用者の心電及び脈波を取得し、これらを用いて利用者の状態を推定する技術が開発されている。例えば、特許文献１は、利用者の脈波信号及び心電信号を取得し、これらの信号から脈拍数を算出する生体情報処理システムを開示している。

特開２０１６－１９５７４７号公報

"ハート先生の心電図教室"、[online]、心臓病看護教育研究会、［令和１年５月２８日検索］、インターネット＜URL：http://www.cardiac.jp/view.php?lang=ja&target=pvc.xml＞

しかしながら、特許文献１が開示する生体情報処理システムは、脈波信号が所定の条件を満たさない場合に、心電信号を用いて算出した脈拍数を利用する技術であるため、心電信号が利用者の状態推定に適していない場合に、利用者の状態を高精度で推定できないという問題があった。

本発明は、上記問題点を鑑みてされたものであり、心電信号が利用者の状態推定に適していない場合でも、利用者の状態を高精度で推定することが可能な状態推定装置、状態推定システム及び状態推定方法を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態に係る状態推定装置（１０）は、利用者の心電信号を用いて、利用者の推定状態を決定する第１の状態推定部（１０４）と、心電信号に対応する脈波と、第１の状態推定部が決定した推定状態とを関連付けて記憶装置に保存する保存処理部（１０８）と、心電信号が利用者の状態推定に適しているか否か判定する心電判定部（１０２）と、取得された脈波と、保存処理部が保存した脈波との類似度を算出する類似度算出部（１０５）と、心電信号が第１の状態推定部による利用者の状態推定に適していない場合に、記憶装置（１１１）に保存されている脈波のうち、利用者の状態推定に適していないと判定された心電信号に対応する脈波との類似度が最大の脈波を特定し、類似度が最大の脈波に関連付けられている推定状態を、利用者の推定状態として決定する第２の状態推定部（１０９）とを備える。

また、本発明の一実施形態に係る状態推定システム（１，２）は、上記状態推定装置（１０）と、利用者の体表面に接触した状態で利用者から心電信号を取得する心電取得装置（１１）と、利用者の体表面に接触した状態で利用者から脈波信号を取得する脈波取得装置（１２）とを含む。

さらに、本発明の一実施形態に係る状態推定方法は、利用者の心電信号を用いて、利用者の推定状態を決定するステップ（Ｓ３０１）と、心電信号に対応する脈波と、推定状態とを関連付けて記憶装置に保存するステップ（Ｓ３０５）と、心電信号が、利用者の状態推定に適しているか否か判定するステップ（Ｓ２０２）と、心電信号が利用者の状態推定に適していない場合に、取得された脈波と、記憶装置に保存されている脈波との類似度を算出するステップ（Ｓ４０１）と、記憶装置に保存されている脈波のうち、利用者の状態推定に適していないと判定された心電信号に対応する脈波との類似度が最大の脈波を特定し、類似度が最大の脈波に関連付けられている推定状態を、利用者の推定状態として決定するステップ（Ｓ４０２）とを含む。

これにより、本発明では、利用者の心電信号を用いて利用者の推定状態を決定し、当該心電信号に対応する脈波と、当該推定状態とを関連付けて保存する。そして、当該心電信号の取得後に取得した心電信号が、利用者の状態推定に適していない場合、当該取得した心電信号に対応する脈波に最も類似する保存済の脈波を特定し、この保存済の脈波に関連付けられている推定状態を、利用者の推定状態として決定する。このため、本発明は、心電信号が利用者の状態推定に適していない場合でも、利用者の状態を高精度で推定することができる。

本発明の第１の実施形態に係る状態推定システムを示す概略図である。 第１の実施形態の状態推定システムで実行される処理の一例を示すシーケンス図である。 第１の実施形態の状態推定装置が有する機能を示すブロック図である。 第１の実施形態の状態推定装置が保存する脈波と、当該脈波に対応する心電信号を用いて決定した利用者の推定状態との関係を示す概念図である。 第１の実施形態の状態推定装置が実行する処理を示すフローチャートである。 第１の実施形態の状態推定装置が実行する第１の状態推定関連処理を示すフローチャートである。 第１の実施形態の状態推定装置が実行する第２の状態推定関連処理を示すフローチャートである。 第１の実施形態の異常時処理装置が実行する処理を示すフローチャートである。 心電信号が利用者の状態推定に適しているか判定するための処理の一例を示すフローチャートである。 心電信号が利用者の状態推定に適しているか判定するための処理の別の例を示すフローチャートである。 脈波信号が利用者の状態推定に適しているか判定するための処理の一例を示すフローチャートである。 脈波信号が利用者の状態推定に適しているか判定するための処理の別の例を示すフローチャートである。 脈波信号が利用者の状態推定に適しているか判定するための処理の他の例を示すフローチャートである。 本発明の第２の実施形態に係る状態推定システムを示す概略図である。 第２の実施形態の状態推定システムで実行される処理の一例を示すシーケンス図である。

＜第１の実施形態＞
（状態推定システムの構成）
以下、図面を参照して、本発明の第１の実施形態について説明する。図１に示すように、第１の実施形態に係る状態推定システム１は、状態推定装置１０と、心電取得装置１１と、脈波取得装置１２と、体動計測装置１３と、異常時処理装置１４とを含む。

状態推定装置１０は、利用者の状態を推定する装置である。状態推定装置１０は、マイクロコントローラと、種々の電子回路と、通信インタフェースとを備える。

マイクロコントローラは、状態推定装置１０の動作を制御する装置であり、演算装置と、揮発性記憶装置と、不揮発性記憶装置とを備える。演算装置は、種々のプログラムを実行可能なＣＰＵ等の演算装置である。演算装置は、不揮発性記憶装置に保存されたプログラムを実行することにより、本発明の状態推定方法を実行する。

通信インタフェースは、状態推定装置１０と、心電取得装置１１、脈波取得装置１２、体動計測装置１３及び異常時処理装置１４との間で、種々のデータの送受信を行うインタフェースである。なお、状態推定装置１０が有する機能については、図３を参照して後述する。

心電取得装置１１は、利用者の心筋細胞が発生させる活動電位を示す心電信号を取得する装置である。心電取得装置１１の具体例として、例えば、車両のステアリングホイールに設置される電極や利用者が装着可能なウェアラブルデバイス等が挙げられる。心電取得装置１１は、利用者の体表面に接触した状態で利用者から心電信号を取得し、当該心電信号を状態推定装置１０に送信する。

脈波取得装置１２は、利用者の心臓の拍動によって生じる血流量の変化や血管の容積変化を示す脈波を取得する装置である。脈波取得装置１２の具体例として、利用者が装着可能なウェアラブルデバイス等が挙げられる。より具体的には、脈波取得装置１２としては、腕輪型や指輪型など、利用者の体の一部を周回して取り付けられる形状のものを用いることができる。また、利用者の体表面に貼り付ける形状の脈波取得装置１２を用いることもできる。脈波取得装置１２は、利用者の体表面に接触した状態で利用者から利用者の脈波を取得し、当該脈波を示す脈波信号を状態推定装置１０に提供する。

体動計測装置１３は、利用者の体動を検出して計測する装置である。体動計測装置１３の具体例として、加速度センサを備えるウェアラブルセンサやドライバステータスモニタ（ＤＳＭ）等が挙げられる。体動計測装置１３は、利用者の体動を計測すると、当該体動の程度を示す体動値を、状態推定装置１０に提供する。

異常時処理装置１４は、状態推定装置１０が提供した利用者の推定状態を示す推定結果に応じて、利用者の状態が異常である旨を知らせる異常時処理を実行する装置である。具体的には、異常時処理装置１４は、推定結果が利用者の状態が異常である旨を示す場合に、異常時処理を実行する。

例えば、異常時処理装置１４は、異常時処理として、スピーカーを用いて、利用者の異常を知らせる警告音を鳴らすことができる。また、異常時処理装置１４は、画像表示装置を用いて、利用者の異常を知らせる画像を表示することができる。さらに、異常時処理装置１４は、利用者に異常が発生している旨の通知を遠隔のサーバに送信することができる。

（状態推定システムの処理シーケンス）
次に、図２を参照して、状態推定システム１で実行される処理のシーケンスについて説明する。ステップＳ１０１では、心電取得装置１１が、利用者から取得した心電信号を状態推定装置１０に送信する。ステップＳ１０２では、脈波取得装置１２が、利用者の脈波を示す脈波信号を状態推定装置１０に送信する。ステップＳ１０３では、体動計測装置１３が、利用者の体動を示す体動値を状態推定装置１０に送信する。

ステップＳ１０４では、状態推定装置１０が、心電取得装置１１、脈波取得装置１２及び体動計測装置１３から受信した利用者の心電信号、脈波信号及び体動値を用いて、図５の処理を実行し、ステップＳ１０５で利用者の推定結果を異常時処理装置１４に送信する。ステップＳ１０６では、異常時処理装置１４が、当該推定結果に基づいて利用者の状態が異常であるか否か判定し、利用者の状態が異常である場合、上述した異常時処理を実行する。

（状態推定装置の機能構成）
次に、図３を参照して、状態推定装置１０が有する機能について説明する。状態推定装置１０は、監視部１００と、体動判定部１０１と、心電判定部１０２と、脈波判定部１０３と、第１の状態推定部１０４と、類似度算出部１０５と、類似度判定部１０６と、推定状態判定部１０７と、保存処理部１０８と、第２の状態推定部１０９と、送信部１１０を有する。これらの機能部は、状態推定装置１０の演算装置が実行するプログラムによって実現することができる。

監視部１００は、心電信号、脈波信号及び体動値の受信が開始したか否か監視し、図５に示す処理を実行させる機能部である。監視部１００は、心電信号、脈波信号及び体動値の受信が開始したと判断すると、所定の間隔で図５の処理を実行させる。所定の間隔は、例えば、一般的に数拍分が含まれる期間など、心電信号及び脈波信号の２以上のピークが含まれる時間であることが好ましい。これにより、２以上のピークを含む心電信号及び脈波信号を用いて、図５の処理を実行することができる。監視部１００は、心電信号、脈波信号及び体動値を受信し続ける間、図５の処理を上記間隔で周期的に実行させる。

体動判定部１０１は、体動計測装置１３が提供した体動値を判定する機能部である。具体的には、体動判定部１０１は、体動値が体動判定閾値以下であるか否か判定する。体動判定閾値は、利用者の体動が原因で利用者の状態を正確に推定できないレベルのノイズが、心電信号及び脈波信号の少なくとも一方に含まれているときの体動値を基準に決定することができる。体動判定部１０１は、このように決定した体動判定閾値を用いて、体動値を判定することにより、利用者の状態を正確に推定できないレベルのノイズが心電信号及び脈波信号の少なくとも一方に含まれている可能性について判定することができる。

心電判定部１０２は、判定対象の心電信号が第１の状態推定部１０４による利用者の状態推定に適しているか否か判定する機能部である。例えば、心電判定部１０２は、心電信号が示す心電波形にＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波が含まれているか否か判定することにより、判定対象の心電信号が利用者の状態推定に適しているか否か判定できる。

より詳細には、図９に示すように、心電判定部１０２は、ステップＳ６０１で心電信号が示す心電波形にＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波が含まれているか否か判定する。心電波形にこれらの波が含まれている場合（ＹＥＳ）、心電判定部１０２は、ステップＳ６０２で心電信号が利用者の状態推定に適していると判定する。一方、心電波形にこれらの波が含まれていない場合（ＮＯ）、心電判定部１０２は、ステップＳ６０３で心電信号が利用者の状態推定に適していないと判定する。

また、心電判定部１０２は、心電信号の周波数成分毎の信号強度の積算値が所定の閾値以下であるか否か判定することにより、判定対象の心電信号が利用者の状態推定に適しているか否か判定できる。

より詳細には、図１０に示すように、心電判定部１０２は、ステップＳ７０１で心電信号に高速フーリエ変換を施し、心電信号の周波数成分毎の強度を算出する。次いで、心電判定部１０２は、ステップＳ７０２で当該周波数成分毎の信号強度を積算して積算値を算出し、ステップＳ７０３で積算値と所定の閾値とを比較する。当該閾値は、利用者の状態推定を正確に行うことが可能なレベルのノイズを含む心電波形の周波数成分毎の信号強度の積算値を基準にして決定することができる。

周波数成分毎の信号強度の積算値が当該閾値以下である場合（ＹＥＳ）、心電信号のノイズが少ない可能性が高いため、心電判定部１０２は、ステップＳ７０４で判定対象の心電信号が利用者の状態推定に適していると判定する。一方、周波数成分毎の信号強度の積算値が当該閾値を超える場合（ＮＯ）、心電信号のノイズが多い可能性が高いため、心電判定部１０２は、ステップＳ７０５で判定対象の心電信号が利用者の状態推定に適していないと判定する。

脈波判定部１０３は、判定対象の脈波信号が利用者の状態推定に適しているか否か判定する機能部である。例えば、脈波判定部１０３は、判定対象の脈波信号が示す脈波と、ノイズが入り難い状態で事前に測定した参照脈波との類似度が所定の閾値以下であるか否か判定することにより、判定対象の脈波信号が利用者の状態推定に適しているか否か判定できる。

より詳細には、図１１に示すように、類似度算出部１０５が、ステップＳ８０１で判定対象の脈波信号が示す脈波と、ノイズが入り難い状態で事前に測定した参照脈波との類似度を算出する。次いで、脈波判定部１０３が、ステップＳ８０２で判定対象の脈波信号が示す脈波と参照脈波との類似度が所定の閾値以下であるか否か判定する。当該閾値は、利用者の状態推定を正確に行うことが可能なレベルのノイズを含む脈波と、参照脈波との類似度を基準にして決定することができる。

判定対象の脈波と参照脈波との類似度が当該閾値以上である場合（ＹＥＳ）、すなわち、判定対象の脈波と参照脈波が類似する場合、判定対象の脈波のノイズが少ない可能性が高いため、脈波判定部１０３は、ステップＳ８０３で判定対象の脈波信号が利用者の状態推定に適していると判定する。一方、当該類似度が当該閾値未満である場合（ＮＯ）、すなわち、判定対象の脈波と参照脈波が類似しない場合、判定対象の脈波のノイズが多い可能性が高いため、脈波判定部１０３は、ステップＳ８０４で判定対象の脈波信号が利用者の状態推定に適していないと判定する。

また、脈波判定部１０３は、脈波信号の周波数成分毎の信号強度の積算値が所定の閾値以下であるか否か判定することにより、判定対象の脈波信号が利用者の状態推定に適しているか否か判定できる。

具体的には、図１２に示すように、脈波判定部１０３は、ステップＳ９０１で脈波信号に高速フーリエ変換を施し、脈波信号の周波数成分毎の強度を算出する。次いで、脈波判定部１０３は、ステップＳ９０２で当該周波数成分毎の信号強度を積算して積算値を算出する。ステップＳ９０３では、脈波判定部１０３は、算出した積算値と所定の閾値とを比較する。当該閾値は、利用者の状態推定を正確に行うことが可能なレベルのノイズを含む脈波の周波数成分毎の信号強度の積算値を基準にして決定することができる。

周波数成分毎の信号強度の積算値が当該閾値以下である場合（ＹＥＳ）、脈波のノイズが少ない可能性が高いため、脈波判定部１０３は、ステップＳ９０４で判定対象の脈波信号が利用者の状態推定に適していると判定する。一方、周波数成分毎の信号強度の積算値が当該閾値を超える場合（ＮＯ）、脈波のノイズが多い可能性が高いため、脈波判定部１０３は、ステップＳ９０５で判定対象の脈波信号が利用者の状態推定に適していないと判定する。

さらに、脈波判定部１０３は、心電判定部１０２によって利用者の状態推定に適していると判定された心電信号が示す心電波形のピークの時刻と、当該心電信号に対応する脈波のピークの時刻との差を用いて、判定対象の脈波信号が状態推定に適しているか否か判定できる。なお、心電信号に対応する脈波とは、当該心電信号が示す心電が引き起こす心筋の収縮によって生じる血流量の変化や血管の容積変化を示す脈波を意味する。

より詳細には、図１３に示すように、ステップＳ１００１で脈波判定部１０３は、利用者の状態推定に適していると判定された心電信号が示す心電波形のピークの時刻と、当該心電信号に対応する脈波のピークの時刻との差を算出する。次いで、ステップＳ１００２で脈波判定部１０３は、心電波形のピークの時刻と脈波のピークの時刻の差が、所定の範囲内であるか否か判定する。当該所定の範囲は、ノイズが入り難い状態で測定した心電波形のピークの時刻と、当該心電波形に対応する脈波のピークの時刻との差を基準に決定することができる。通常、脈波のノイズレベルが低い場合、心電波形のピークの時刻と脈波のピークの時刻の差が所定の範囲内になる。一方、脈波のノイズレベルが高い場合、脈波のピークがランダムに出現するため、心電波形のピークの時刻と脈波のピークの時刻の差が所定の範囲外になる可能性がある。このため、心電波形のピークの時刻と脈波のピークの時刻の差が、所定の範囲内であるか否か判定することにより、判定対象の脈波信号が利用者の状態推定に適しているか否か判定できる。

心電波形のピークの時刻と脈波のピークの時刻の差が所定の範囲内である場合（ＹＥＳ）、脈波のノイズが少ない可能性が高いため、脈波判定部１０３は、ステップＳ１００３で判定対象の脈波信号が利用者の状態推定に適していると判定する。一方、これらの時刻の差が所定の範囲内にない場合（ＮＯ）、脈波のノイズが多い可能性が高いため、脈波判定部１０３は、ステップＳ１００４で判定対象の脈波信号が利用者の状態推定に適していないと判定する。

第１の状態推定部１０４は、利用者の心電信号が示す心電波形の特徴を用いて、利用者の推定状態を決定する機能部である。第１の状態推定部１０４は、心電波形の特徴として、Ｐ波、Ｑ波、Ｒ波、Ｓ波及びＴ波の振幅や発生頻度の変化等を利用することができる。具体的には、第１の状態推定部１０４は、機械学習を用いて、利用者の推定状態を決定することができる。

例えば、機械学習としてニューラルネットワークを利用する場合、利用者の心電信号と、当該心電信号が示す心電波形から導出される利用者の状態とを教師データとして学習させる。この場合、利用者の状態が正常であるときの心電信号と、利用者の状態が正常である旨を示す推定状態とを教師データとすることができる。また、利用者の心臓の状態が異常であるときの心電信号と、利用者の状態が異常である旨を示す推定状態とを教師データとすることができる。第１の状態推定部１０４は、この学習済みのニューラルネットワークに心電信号を入力することにより、利用者の推定状態を決定することができる。なお、第１の状態推定部１０４が採用する手法は、ニューラルネットワークに限られず、心電信号を用いて利用者の推定状態を決定可能な他の種々の手法を採用することができる。

類似度算出部１０５は、比較対象の２つの脈波の類似度を算出する機能部である。例えば、類似度算出部１０５は、２乗平均平方根誤差（ＲＭＳＥ）を利用して、これらの脈波の類似度を算出することができる。

具体的には、類似度算出部１０５は、比較対象の２つの脈波のピークの位置を合わせた後、当該ピークを含む所定の開始点から終了点の区間について、これらの脈波の振幅の差分を算出する。開始点及び終了点は、当該ピークを含む１拍分の脈波内の点であればよい。例えば、開始点は、平均的な一拍分の長さの半分よりも短い時間だけピークよりも前の時点とし、終了点は、平均的な一拍分の長さの半分よりも短い時間だけピークよりも後の時点とすることができる。平均的な一拍分の長さの半分よりも短い時間は、例えば、平均的な一拍分の長さの１／４とすることができる。

次いで、類似度算出部１０５は、これらの振幅の差分を２乗したものを積算し、その平均値を算出する。そして、類似度算出部１０５は、当該平均値の平方根の逆数を、これらの脈波の類似度として算出することができる。この場合、当該平均値の平方根の逆数の値が大きい程、脈波の類似度が高いことを意味し、当該逆数の値が小さい程、脈波の類似度が低いことを意味する。

類似度判定部１０６は、類似度算出部１０５が算出した脈波の類似度を判定する機能部である。より詳細には、類似度判定部１０６は、類似度算出部１０５が算出した類似度のうち最大の類似度（以下、「最大類似度」とする。）が類似閾値以上であるか否か判定する。類似閾値は、判定対象の脈波同士が類似する旨を示す閾値であり、利用者の状態が正常であるときの脈波（以下、「正常時脈波」とする。）と、当該正常時脈波に類似する、利用者の心臓の状態が異常であるときの脈波（以下、「異常時脈波」とする。）との類似度を基準に決定することが好ましい。

推定状態判定部１０７は、第１の状態推定部１０４が利用者の心電信号を用いて決定した推定状態と、保存処理部１０８が状態推定装置１０の記憶装置１１１に保存した脈波に関連付けられている推定状態とが同じであるか否か判定する機能部である。

保存処理部１０８は、第１の状態推定部１０４が利用者の状態推定に使用した心電信号に対応する脈波と、当該心電信号を用いて決定した利用者の推定状態とを関連付けて、状態推定装置１０の記憶装置１１１に保存する機能部である。図４は、保存処理部１０８が保存した脈波と、当該脈波に対応する心電信号を用いて決定した推定状態との関係を示す概念図である。図４に示す例では、３種類の脈波と、各脈波に対応する心電信号を用いて決定した推定状態（「正常」及び「異常」）とが関連付けられている。

第２の状態推定部１０９は、利用者の心電信号が利用者の状態推定に適さない場合に、当該心電信号に対応する脈波と、保存処理部１０８が保存した脈波との類似度に基づき、利用者の推定状態を決定する機能部である。具体的には、第２の状態推定部１０９は、当該類似度が最大となる保存済の脈波を特定し、当該保存済の脈波に関連付けられている推定状態を、利用者の推定状態として決定する。

送信部１１０は、通信インタフェースを介して、第１の状態推定部１０４及び第２の状態推定部１０９が決定した推定状態を示す推定結果を異常時処理装置１４に送信する機能部である。

次に、図５を参照して、状態推定装置１０が実行する処理について説明する。ステップＳ２０１では、状態推定装置１０の体動判定部１０１が、体動値が体動判定閾値以下であるか否か判定する。体動値が体動判定閾値を超える場合（ＮＯ）、すなわち、利用者の体動に起因するノイズが心電信号及び脈波信号に含まれている可能性が高い場合、図５の処理が終了する。一方、体動値が体動値判定閾値以下である場合（ＹＥＳ）、すなわち、当該ノイズが心電信号及び脈波信号に含まれている可能性が低い場合、ステップＳ２０２に処理が分岐する。

ステップＳ２０２では、心電判定部１０２が、心電信号が利用者の状態推移に適しているか否か判定する。心電信号が利用者の状態推移に適していると判定した場合（ＹＥＳ）、ステップＳ２０３に処理が分岐する。ステップＳ２０３では、脈波判定部１０３が、脈波信号が利用者の状態推移に適しているか否か判定する。脈波信号が利用者の状態推移に適している場合（ＹＥＳ）、ステップＳ２０４に処理が分岐し、図６に示す第１の状態推定関連処理が実行される。一方、脈波信号が利用者の状態推移に適していない場合（ＮＯ）、図５の処理が終了する。

ステップＳ２０２において心電信号が利用者の状態推移に適していないと判定した場合（ＮＯ）、ステップＳ２０５に処理が分岐する。ステップＳ２０５では、脈波判定部１０３が、脈波信号が利用者の状態推移に適しているか否か判定する。脈波信号が利用者の状態推移に適している場合（ＹＥＳ）、ステップＳ２０６に処理が分岐し、図７に示す第２の状態推定関連処理が実行される。一方、脈波が利用者の状態推移に適していない場合（ＮＯ）、図５の処理が終了する。

ステップＳ２０７では、送信部１１０が、ステップＳ２０４の第１の状態推定関連処理又はステップＳ２０６の第２の状態推定関連処理で決定した推定状態を示す推定結果を異常時処理装置１４に送信し、図５の処理が終了する。

（第１の状態推定関連処理）
次に、図６を参照して、状態推定装置１０が実行する第１の状態推定関連処理について説明する。ステップＳ３０１では、第１の状態推定部１０４が、心電信号を用いて利用者の推定状態を決定する。ステップＳ３０２では、類似度算出部１０５が、当該心電信号に対応する脈波信号が示す脈波と、状態推定装置１０の記憶装置１１１に保存されている全ての脈波との類似度を算出する。

ステップＳ３０３では、類似度判定部１０６が、類似度算出部１０５の算出した最大類似度が類似閾値以上であるか否か判定する。最大類似度が類似閾値未満である場合（ＮＯ）、すなわち、脈波信号が示す脈波と、保存済の脈波との類似度が低い場合、ステップＳ３０６に処理が分岐する。一方、最大類似度が類似閾値以上である場合（ＹＥＳ）、すなわち、脈波信号が示す脈波と保存済の脈波が類似する場合、ステップＳ３０４に処理が分岐する。

ステップＳ３０４では、類似度判定部１０６は、類似度算出部１０５の算出した最大類似度が同一閾値以下であるか否か判定する。最大類似度が同一閾値を超える場合（ＮＯ）、すなわち、脈波信号が示す脈波と保存済の脈波が同一である場合、第１の状態推定関連処理が終了する。一方、最大類似度が同一閾値以下である場合（ＹＥＳ）、すなわち、脈波信号が示す脈波と保存済の脈波が類似するが同一ではない場合、ステップＳ３０５に処理が分岐する。

ステップＳ３０５では、推定状態判定部１０７が、ステップＳ３０１において決定した推定状態と、類似度が最大となった保存済の脈波に関連付けられている推定状態とが同じであるか否か判定する。これらの推定状態が同じである場合（ＹＥＳ）、第１の状態推定関連処理が終了する。一方、これらの推定状態が異なる場合（ＮＯ）、ステップＳ３０６に処理が分岐する。

ステップＳ３０６では、保存処理部１０８が、脈波信号が示す脈波と、ステップＳ３０１において決定した推定状態とを関連付けて、状態推定装置１０の記憶装置１１１に保存し、第１の状態推定関連処理が終了する。

（第２の状態推定関連処理）
次に、図７を参照して、状態推定装置１０が実行する第２の状態推定関連処理について説明する。ステップＳ４０１では、類似度算出部１０５が、脈波信号が示す脈波と、状態推定装置１０の記憶装置１１１に保存されている全ての脈波との類似度を算出する。ステップＳ４０２では、第２の状態推定部１０９が、類似度算出部１０５の算出した類似度の中から類似度が最大の保存済の脈波を特定し、当該脈波に関連付けられている推定状態を特定し、第２の状態推定関連処理が終了する。

次に、図８を参照して、異常時処理装置１４が実行する処理について説明する。図８の処理は、異常時処理装置１４が、状態推定装置１０から推定結果を受信することによって開始する。

ステップＳ５０１では、異常時処理装置１４は、状態推定装置１０の提供した推定結果が、利用者の状態が異常である旨を示しているか否か判定する。利用者の状態が正常である旨を示している場合（ＮＯ）、図８の処理が終了する。一方、利用者の状態が異常である旨を示している場合（ＹＥＳ）、ステップＳ５０２に処理が分岐する。ステップＳ５０２では、異常時処理装置１４は、上述した異常時処理を実行し、図８の処理が終了する。

（第１の実施形態の効果）
一般に脈波は、心電と比べて心臓の異常の兆候が表れ難いという傾向がある。本発明では、状態推定装置１０の第１の状態推定部１０４が、脈波よりも信頼性の高い心電信号を用いて、利用者の推定状態を決定し、保存処理部１０８が、当該心電信号に対応する脈波と、当該推定状態とを関連付けて保存する。そして、当該脈波よりも後に取得された後続の脈波に対応する後続の心電信号が利用者の状態推定に適していない場合、第２の状態推定部１０９が、当該後続の脈波に最も類似する保存済の脈波を特定し、当該保存済の脈波に関連付けられている推定状態を、利用者の推定状態として決定する。すなわち、第２の状態推定部１０９は、信頼性の高い心電信号を用いて決定された推定状態を利用者の推定状態とする。このため、本発明は、心電信号が利用者の状態推定に適していない場合でも、利用者の状態推定を高精度で行うことができる。

また、第１の状態推定部１０４は、心電信号が利用者の状態推定に適している場合にのみ、当該心電信号を用いて、利用者の推定状態を決定する。すなわち、利用者の状態推定に適さない心電信号を用いて状態推定を行わない。これにより、利用者の状態推定の精度を高めることができる。

さらに、第２の状態推定部１０９は、脈波信号が利用者の状態推定に適している場合にのみ、当該脈波信号を用いて、利用者の推定状態を決定する。すなわち、利用者の状態推定に適さない脈波信号を用いて状態推定を行わない。これにより、利用者の状態推定の精度を高めることができる。

さらに、保存処理部１０８は、取得された脈波と保存済の脈波の最大類似度が類似閾値以上であり、かつ、取得された脈波との類似度が最大となった保存済の脈波に関連付けられている推定状態と、取得された脈波に対応する心電信号を用いて決定された推定状態とが同一である場合、取得された脈波と、当該推定状態とを保存しない。すなわち、同一の推定状態を示す類似度の高い脈波が存在する場合、取得された脈波及び当該推定状態を保存しない。これにより、状態推定装置１０の記憶装置１１１に保存されるデータ量を抑制することができる。

さらに、保存処理部１０８は、取得された脈波と保存済の脈波の最大類似度が類似閾値以上であり、かつ、取得された脈波との類似度が最大となった保存済の脈波に関連付けられている推定状態と、取得された脈波に対応する心電信号を用いて決定された推定状態とが異なる場合、取得された脈波及び当該推定状態を保存する。すなわち、異なる推定状態を示す類似度の高い脈波が存在する場合、取得された脈波及び当該推定状態を保存する。

これは、特に、取得された利用者の脈波が、正常時脈波と類似する場合に有用である。より詳細には、正常時脈波と、利用者が正常である旨を示す推定状態とが既に保存されている場合において、状態推定装置１０が、正常時脈波に類似する異常時脈波と、当該異常時脈波に対応する心電信号を受信したとき、第１の状態推定部１０４が、当該心電信号に基づいて、利用者の状態が異常である旨を示す推定状態を決定する。そして、保存処理部１０８が、正常時脈波と類似する異常時脈波と、異常を示す推定状態とを関連付けて保存することができる。

そして、状態推定装置１０が、再び、正常時脈波と類似する異常時脈波と、当該異常時脈波に対応する心電信号を受信した場合において、当該心電信号が利用者の状態推定に適していないと判断したとき、第２の状態推定部１０９が、当該異常時脈波に関連付けられている推定状態（異常を示す推定状態）を、利用者の状態として決定することができる。すなわち、第２の状態推定部１０９は、正常時脈波と類似する異常時脈波に基づいて、利用者の状態が異常であると正確に判断できる。

さらに、体動判定部１０１は、利用者の体動の程度を示す体動値が体動判定閾値以下であるか否か判定する。そして、第１の状態推定部１０４及び第２の状態推定部１０９は、体動値が体動判定閾値以下である場合に、利用者の推定状態を決定する。これにより、利用者の体動に起因するノイズが心電信号及び脈波信号に含まれている可能性が低い場合にのみ、これらの心電信号及び脈波信号を用いて利用者の状態推定を行うため、利用者の状態推定の精度を高めることができる。

さらに、異常時処理装置１４は、状態推定装置１０が決定した推定状態が利用者の異常を示す場合、利用者の状態が異常である旨を知らせる異常時処理を実行する。これにより、利用者に異常が生じていることを知らせることができる。

さらに、心電取得装置１１は、利用者が利用する車両のステアリングホイールに設置される。これにより、車両を運転している利用者から心電信号を取得でき、運転中の利用者の状態を推定することができる。

＜第２の実施形態＞
（状態推定システムの構成）
次に、図１４及び図１５を参照して、本発明の第２の実施形態について、第１の実施形態との相違点を中心に説明する。第２の実施形態に係る状態推定システム２は、図１４に示すように、状態推定装置１０と、心電取得装置１１と、脈波取得装置１２と、体動計測装置１３と、異常時処理装置１４と、通信装置１５とを含む。第２の実施形態では、状態推定装置１０は、サーバ等の情報処理装置によって実現することができる。

通信装置１５は、状態推定装置１０、心電取得装置１１、脈波取得装置１２、体動計測装置１３及び異常時処理装置１４と相互にデータ通信が可能な装置である。通信装置１５の具体例として、スマートフォンや無線ＬＡＮルータ等の中継装置として機能する通信装置が挙げられる。通信装置１５は、状態推定装置１０と、心電取得装置１１、脈波取得装置１２、体動計測装置１３及び異常時処理装置１４との間で、無線通信又は有線通信により、種々のデータを中継する。

（状態推定システムの処理シーケンス）
次に、図１５を参照して、状態推定システム２で実行される処理のシーケンスについて説明する。ステップＳ１１０１では、心電取得装置１１が、利用者から取得した心電信号を通信装置１５に送信する。通信装置１５は、心電取得装置１１から心電信号を受信すると、ステップＳ１１０２で心電信号を状態推定装置１０に送信する。

ステップＳ１１０３では、脈波取得装置１２が、利用者の脈波を示す脈波信号を通信装置１５に送信する。通信装置１５は、脈波取得装置１２から脈波信号を受信すると、ステップＳ１１０４で脈波信号を状態推定装置１０に送信する。

ステップＳ１１０５では、体動計測装置１３が、利用者の体動値を通信装置１５に送信する。通信装置１５は、体動計測装置１３から体動値を受信すると、ステップＳ１１０６で体動値を状態推定装置１０に送信する。

ステップＳ１１０７では、状態推定装置１０が、通信装置１５から受信した利用者の心電信号、脈波信号及び体動値を用いて図５の処理を実行し、ステップＳ１１０８で利用者の推定結果を通信装置１５に送信する。通信装置１５は、状態推定装置１０から推定結果を受信すると、ステップＳ１１０９で推定結果を異常時処理装置１４に送信する。

ステップＳ１１１０では、異常時処理装置１４が、通信装置１５から受信した推定結果に基づいて、利用者の推定状態が異常であるか否か判定し、利用者の推定状態が異常である場合、上述した異常時処理を実行する。

（第２の実施形態の効果）
第２の実施形態では、状態推定装置１０は、通信装置１５を介して、利用者の心電信号、脈波信号及び体動値を取得することができる。これにより、状態推定装置１０を利用者の近くに設置する必要がなく、任意の場所に設置することができる。このため、大容量の記憶装置１１１を備えることが可能な情報処理装置によって状態推定装置１０を実現することができ、保存すべき脈波及び推定状態のデータ量の増加に柔軟に対応することができる。

また、状態推定装置１０は、インターネット等のネットワークを介して、状態推定装置１０にアクセス可能な装置に対し、保存された利用者の脈波及び推定状態を提供することができる。このため、これらの情報を医療機関に提供し、利用者の状態を医師に診断してもらうこともできる。

＜その他の実施形態＞
上述した実施形態では、利用者の推定状態として「正常」及び「異常」の２種類の状態を採用するが、他の実施形態では、利用者の異常を示す推定状態を細分化することができる。例えば、心臓の部位別の不整脈（例えば、非特許文献１に開示された脈波のみでは判別できない心室性期外収縮による不整脈等）を、推定状態として採用することができる。この場合、心異常時に測定された心電信号と、細分化された異常を示す推定状態とを教師データとして、ニューラルネットワークを学習させることができる。これにより、状態推定装置１０は、利用者の状態をより詳細に推定することができる。

また、他の実施形態では、図５のステップＳ２０２において心電信号が適していないと判断した場合に、状態推定装置１０の体動判定部１０１が、体動値が体動判定閾値以下であるか否か判定してもよい。この場合、体動によるノイズが脈波信号よりも心電信号に入り易い実施形態、例えば、ウェアラブルデバイスで脈波信号を取得し、ステアリングセンサで心電信号を取得する実施形態を考慮し、当該体動判定閾値は、ステップＳ２０１で使用する体動判定閾値よりも高い値とすることができる。

体動値が体動値判定閾値以下である場合（ＹＥＳ）、すなわち、当該ノイズが脈波信号に含まれている可能性が低い場合、ステップＳ２０５に処理が分岐する。一方、体動値が体動判定閾値を超える場合（ＮＯ）、すなわち、利用者の体動に起因するノイズが脈波信号に含まれている可能性が高い場合、図５の処理が終了する。これにより、体動によるノイズが脈波信号に含まれている可能性についての判定精度を高めることができる。

さらに、他の実施形態では、状態推定システム１，２は、車両の振動を検出する振動検出装置を含んでもよい。この場合、振動検出装置は、車両の振動の程度を示す振動値を状態推定装置１０に送信する。そして、状態推定装置１０は、振動値が振動値判定閾値以下であるか否か判定する。振動値判定閾値は、車両の振動によるノイズが心電信号及び脈波信号に含まれるレベルの振動値を基準に決定することができる。状態推定装置１０は、振動値が振動値判定閾値以下であるか否か判定することにより、車両の振動に起因するノイズが心電信号及び脈波信号に含まれている可能性について判定することができる。

振動値が振動値判定閾値を超える場合、すなわち、車両の振動に起因するノイズが心電信号及び脈波信号に含まれている可能性が高い場合、状態推定装置１０は、これらの心電信号及び脈波信号を用いて、利用者の状態推定を行わない。一方、振動値が振動値判定閾値以下である場合、すなわち、車両の振動に起因するノイズが心電信号及び脈波信号に含まれている可能性が低い場合、状態推定装置１０は、これらの心電信号及び脈波信号を用いて、利用者の状態推定を行う。これにより、利用者の状態推定の精度を高めることができる。

さらに、上述した実施形態では、状態推定装置１０が有する機能部は、状態推定装置１０の演算装置が実行可能なプログラムによって実現するが、他の実施形態では、これらの機能部を、状態推定装置１０が備える電子回路によって実現してもよい。

本発明は、上述した実施形態に限定されることなく、様々に変更して実施することができる。

１，２ 状態推定システム、 １０ 状態推定装置、 １１ 心電取得装置、 １２ 脈波取得装置、 １４ 異常時処理装置、 １５ 通信装置、 １０１ 体動判定部、 １０２ 心電判定部、 １０３ 脈波判定部、 １０４ 第１の状態推定部、 １０５ 類似度算出部、 １０８ 保存処理部、 １０９ 第２の状態推定部、 １１１ 記憶装置

Claims (15)

1. 利用者の状態を推定する状態推定装置（１０）であって、
   前記利用者の心電信号を用いて、前記利用者の推定状態を決定する第１の状態推定部（１０４）と、
   前記心電信号に対応する脈波と、前記第１の状態推定部が決定した前記推定状態とを関連付けて記憶装置（１１１）に保存する保存処理部（１０８）と、
   前記心電信号が前記利用者の状態推定に適しているか否か判定する心電判定部（１０２）と、
   取得された前記脈波と、前記保存処理部が保存した前記脈波との類似度を算出する類似度算出部（１０５）と、
   前記心電信号が前記第１の状態推定部による前記利用者の状態推定に適していない場合に、前記記憶装置に保存されている脈波のうち、前記利用者の状態推定に適していないと判定された前記心電信号に対応する脈波との類似度が最大の脈波を特定し、前記類似度が最大の脈波に関連付けられている推定状態を、前記利用者の推定状態として決定する第２の状態推定部（１０９）と
   を備える、状態推定装置。
2. 前記第１の状態推定部は、前記心電信号が前記利用者の状態推定に適している場合に、前記利用者の推定状態を決定する、請求項１に記載の状態推定装置。
3. 前記利用者の脈波が、前記第２の状態推定部による前記利用者の状態推定に適しているか否か判定する脈波判定部（１０３）をさらに備え、
   前記第２の状態推定部は、前記利用者の脈波が前記利用者の状態推定に適している場合に、前記利用者の推定状態を決定する、請求項１又は２に記載の状態推定装置。
4. 前記保存処理部は、
   前記類似度算出部が算出した最大の類似度が、保存済の前記脈波と類似する旨を示す類似閾値以上であり、かつ、前記第１の状態推定部が決定した推定状態と、取得された前記脈波との前記類似度が最大となった保存済の前記脈波に関連付けられている推定状態が同一である場合、前記心電信号に対応する脈波と、前記心電信号を用いて決定された推定状態とを前記記憶装置に保存しない、請求項１～３のいずれか１項に記載の状態推定装置。
5. 前記保存処理部は、
   前記類似度算出部が算出した最大の類似度が、保存済の前記脈波と同一である旨を示す同一閾値以下であり、かつ、前記第１の状態推定部が決定した推定状態と、取得された前記脈波との前記類似度が最大となった保存済の前記脈波に関連付けられている推定状態が異なる場合、前記心電信号に対応する脈波と、前記心電信号を用いて決定された推定状態とを関連付けて前記記憶装置に保存する、請求項１～４のいずれか１項に記載の状態推定装置。
6. 前記類似度算出部は、類似度を算出する２つの脈波のピークの位置を合わせ、前記ピークを含む所定の開始点から終了点の区間における前記２つの脈波の振幅の差分に基づいて、前記２つの脈波の類似度を算出する、請求項１～５のいずれか１項に記載の状態推定装置。
7. 前記第１の状態推定部は、前記心電信号が示す心電波形の特徴を用いて、前記利用者の推定状態を決定する、請求項１～６のいずれか１項に記載の状態推定装置。
8. 前記類似度算出部は、２以上のピークが含まれる脈波同士の類似度を算出する、請求項１～７のいずれか１項に記載の状態推定装置。
9. 前記利用者の体動の程度を示す体動値が体動判定閾値以下であるか否か判定する体動判定部（１０１）をさらに備え、
   前記第１の状態推定部は、前記体動値が前記体動判定閾値以下である場合に、前記利用者の推定状態を決定する、請求項１～８のいずれか１項に記載の状態推定装置。
10. 前記第２の状態推定部は、前記体動値が前記体動判定閾値以下である場合に、前記利用者の推定状態を決定する、請求項９に記載の状態推定装置。
11. 利用者の状態を推定する状態推定システム（１，２）であって、
    請求項１～１０のいずれか１項に記載の状態推定装置（１０）と、
    前記利用者の体表面に接触した状態で前記利用者から心電信号を取得する心電取得装置（１１）と、
    前記利用者の体表面に接触した状態で前記利用者から脈波信号を取得する脈波取得装置（１２）と
    を含む、状態推定システム。
12. 前記利用者の状態が異常である旨を知らせる異常時処理を実行する異常時処理装置（１４）をさらに含み、
    前記状態推定装置は、前記利用者の推定状態を前記異常時処理装置に送信し、
    前記異常時処理装置は、前記状態推定装置から受信した前記利用者の推定状態が前記利用者の異常を示す場合に、前記異常時処理を実行する、請求項１１に記載の状態推定システム。
13. 前記状態推定装置、前記心電取得装置及び前記脈波取得装置と通信可能な通信装置（１５）をさらに含み、
    前記心電取得装置は、前記心電信号を前記通信装置に送信し、
    前記脈波取得装置は、前記脈波信号を前記通信装置に送信し、
    前記通信装置は、前記心電信号及び前記脈波信号を前記状態推定装置に送信する、請求項１１又は１２に記載の状態推定システム。
14. 前記心電取得装置は、前記利用者が利用する車両のステアリングホイールに設置される、請求項１１～１３のいずれか１項に記載の状態推定システム。
15. 利用者の状態を推定する状態推定装置（１０）が実行する状態推定方法であって、
    前記利用者の心電信号を用いて、前記利用者の推定状態を決定するステップ（Ｓ３０１）と、
    前記心電信号に対応する脈波と、前記推定状態とを関連付けて記憶装置に保存するステップ（Ｓ３０５）と、
    前記心電信号が、前記利用者の状態推定に適しているか否か判定するステップ（Ｓ２０２）と、
    前記心電信号が前記利用者の状態推定に適していない場合に、取得された前記脈波と、前記記憶装置に保存されている前記脈波との類似度を算出するステップ（Ｓ４０１）と、
    前記記憶装置に保存されている前記脈波のうち、前記利用者の状態推定に適していないと判定された前記心電信号に対応する脈波との類似度が最大の脈波を特定し、前記類似度が最大の脈波に関連付けられている推定状態を、前記利用者の推定状態として決定するステップ（Ｓ４０２）と
    を含む、状態推定方法。

Images