JP6767318B2 - 心拍間隔モデリング装置、および異常状態判定方法 - Google Patents

心拍間隔モデリング装置、および異常状態判定方法 Download PDF

Info

Publication number
JP6767318B2
JP6767318B2 JP2017134829A JP2017134829A JP6767318B2 JP 6767318 B2 JP6767318 B2 JP 6767318B2 JP 2017134829 A JP2017134829 A JP 2017134829A JP 2017134829 A JP2017134829 A JP 2017134829A JP 6767318 B2 JP6767318 B2 JP 6767318B2
Authority
JP
Japan
Prior art keywords
series data
time series
acquisition unit
unit
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017134829A
Other languages
English (en)
Other versions
JP2019013659A (ja
Inventor
央 倉沢
央 倉沢
信吾 塚田
信吾 塚田
中島 寛
寛 中島
真澄 山口
真澄 山口
小笠原 隆行
隆行 小笠原
拓也 奥野
拓也 奥野
俊哉 山田
俊哉 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT TechnoCross Corp
Original Assignee
Nippon Telegraph and Telephone Corp
NTT TechnoCross Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT TechnoCross Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017134829A priority Critical patent/JP6767318B2/ja
Publication of JP2019013659A publication Critical patent/JP2019013659A/ja
Application granted granted Critical
Publication of JP6767318B2 publication Critical patent/JP6767318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、心拍間隔モデリング装置、および異常状態判定方法に関する。
心臓の心拍数(HR;Heart Rate)や心拍間隔(R−R間隔)は、血液循環の状態や精神的緊張度などの様々な要因によって変動する生体信号である。心拍数や心拍間隔などの時系列データの解析は、不整脈などの疾病の診断や、自律神経機能の評価、および健康状態や体調の管理など、様々な用途で行われている(例えば、非特許文献1)。また、心拍数や心拍間隔などの生体信号の計測は、生体電極(例えば、非特許文献2)や光学的センサなどの計測器を用いて行われる。
中川千鶴、"特集3 人間工学のための計測手法 第4部:生体電気現象その他の計測と解析(5)−自律神経系指標の計測と解析−"、人間工学、Vol.52 No.1、pp.6-12、2016 小笠原隆行、小野一善、松浦伸昭、山口真澄、渡邊淳司、塚田信吾、"ウェアラブル電極インナー技術の応用展開"、NTT技術ジャーナル、pp.16-20、2014.11
心拍数および心拍間隔の平均値や経時変化のパターンは、年齢、性別、体型、生活習慣(運動など)、人種、季節、および時刻などの環境的な要因によって異なる。そのため、計測された心拍数や心拍間隔の値が正常な値であるか否かを、一定の閾値に基づいて判定することは困難である。よって、心拍数や心拍間隔の正常性について適切な判定を行うための技術が求められている。
また、心拍数や心拍間隔などの生体信号の計測においては、計測器と体とが密着した状態で安定に保たれている必要があるが、体動、センサの振動、またはセンサの浮き上がりなどによって、安定に保たれないことがある。このような場合、生体信号の歪み、雑音、およびデータの欠損などが生じ、計測された心拍数や心拍間隔の値が正常な値であるか否か(正常性)を正確に判定することができないことが問題となっている。
本発明は上記のような事情に鑑みてなされたもので、心拍の状態についての正常性の判定をより適切に行うことができる心拍間隔モデリング装置、および異常状態判定方法を提供することを目的とする。
(1)本発明の一態様は、心拍間隔時系列データを取得する時系列データ取得部と、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータに基づいて状態空間モデルを構築するモデル構築部と、前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの将来の値を予測する推定部と、を備える心拍間隔モデリング装置である。
(2)本発明の一態様は、上記の心拍間隔モデリング装置であって、心拍間隔時系列データを取得する時系列データ取得部と、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータに基づいて状態空間モデルを構築するモデル構築部と、前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの真の値を推定する推定部と、を備える。
(3)本発明の一態様は、上記の心拍間隔モデリング装置であって、心拍間隔時系列データを取得する時系列データ取得部と、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータに基づいて状態空間モデルを構築するモデル構築部と、前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの欠損値を補完する推定部と、を備える。
(4)本発明の一態様は、上記の心拍間隔モデリング装置であって、前記モデル設計情報取得部は、状態数を示すパラメータを取得し、前記モデル構築部は、前記モデル設計情報取得部によって取得された前記状態数のパラメータに基づいて、潜在的な状態の遷移を加味した状態空間モデルを構築する。
(5)本発明の一態様は、上記の心拍間隔モデリング装置であって、上記の心拍間隔モデリング装置であって、前記推定部は、前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲において遷移する潜在的な状態系列を推定する。
(6)本発明の一態様は、上記の心拍間隔モデリング装置であって、前記モデル設計情報取得部は、異常判定閾値を取得し、前記時系列データ取得部によって取得された前記心拍間隔時系列データと、前記推定部によって予測された前記心拍間隔時系列データの将来の値の推定結果、前記推定部によって推定された前記心拍間隔時系列データの真の値の推定結果、または、前記推定部によって推定された潜在的な状態系列の推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを前記モデル設計情報取得部によって取得された前記異常判定閾値に基づいて判定する異常判定部、を備える。
(7)本発明の一態様は、上記の心拍間隔モデリング装置であって、前記時系列データ取得部は、心拍間隔とともに計測される、行動を表す時系列データを取得し、前記モデル構築部は、前記時系列データ取得部によって取得された前記行動を表す時系列データに基づいて前記状態空間モデルを構築する。
(8)本発明の一態様は、心拍間隔時系列データを取得する時系列データ取得ステップと、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得ステップと、前記時系列データ取得ステップにおいて取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得ステップにおいて取得された前記成分ごとのパラメータに基づいて状態空間モデルを構築するモデル構築ステップと、前記モデル構築ステップにおいて構築された前記状態空間モデルにおいて、前記モデル設計情報取得ステップにおいて取得された前記推定範囲における心拍間隔時系列データの将来の値を予測する推定ステップと、異常判定閾値を取得し、前記時系列データ取得ステップにおいて取得された前記心拍間隔時系列データと、前記推定ステップにおいて予測された前記心拍間隔時系列データの将来の値の推定結果、前記推定ステップにおいて推定された前記心拍間隔時系列データの真の値の推定結果、または、前記推定ステップにおいて推定された潜在的な状態系列の推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを前記異常判定閾値に基づいて判定する異常判定ステップと、を有する異常状態判定方法である。
本発明によれば、心拍の状態についての正常性の判定を行うことができる。
本発明の一実施形態に係る心拍間隔モデリング装置1が取得する時系列データの構成の一例を示す図である。 一般的な心拍間隔の一例を示す図である。 本発明の一実施形態に係る心拍間隔モデリング装置1が構築する状態空間モデルの一例を示す図である。 本実施形態に係る心拍間隔モデリング装置1による潜在状態ごとの心拍間隔の傾向のモデル化を説明するための図である。 本実施形態に係る心拍間隔モデリング装置1の機能構成を示すブロック図である。 本発明の一実施形態に係る心拍間隔モデリング装置1の動作を示すフローチャートである。 本発明の一実施形態に係る心拍間隔モデリング装置1のモデル設計情報取得部12が取得する状態空間モデルのパラメータと異常判定閾値とを示すデータの一例を示す図である。 本発明の一実施形態に係る心拍間隔モデリング装置1の推定部14によって推定された推定結果の一例を示す図である。 本発明の一実施形態に係る心拍間隔モデリング装置1の異常判定部15によって判定された判定結果の一例を示す図である。
<実施形態>
以下、本発明の実施形態について説明する。
本発明の心拍間隔モデリング装置1は、少なくとも計測対象者の心拍間隔の計測値の時系列データ(以下、「心拍間隔時系列データ」と称する)に基づいて、状態空間モデルを構築する。この状態空間モデルを用いることによって、心拍間隔モデリング装置1は、心拍間隔時系列データの将来の値の予測、心拍間隔時系列データの真の値の推定、心拍間隔時系列データの欠損値の補完、および潜在的な状態系列の推定を行うことができる。さらに、心拍間隔モデリング装置1は、推定した値や状態系列を確率として表し、当該確率が、心拍間隔の正常性を判定するための閾値としてあらかじめ与えられた確率を下回った場合に心拍間隔が異常であると判定する。これにより、心拍間隔モデリング装置1は、心拍の状態についての正常性の判定を行うことができる。以下、心拍間隔モデリング装置1によって行われる、心拍間隔のモデリングおよび正常性の判定処理について、さらに詳細に説明する。
[時系列データの構成]
以下、心拍間隔モデリング装置1が取得する時系列データの構成について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る心拍間隔モデリング装置1が取得する時系列データの構成の一例を示す図である。図示するように、時系列データは、「時間」、「カウンター」、「電池残量目安」、「イベント」、「Lead状態」、「心拍間隔変化」、「心拍間隔」、「心電波1」、「心電波2」、「心電波3」、「心電波4」、「心電波5」、「心電波6」、「心電波7」、「心電波8」、「温度」、「加速度x軸」、「加速度y軸」、「加速度z軸」、および「心拍数」の20個の項目の列からなる2次元の表形式のデータである。
これらの20項目のうち、「心拍間隔変化」、「心拍間隔」、「心電波1」、「心電波2」、「心電波3」、「心電波4」、「心電波5」、「心電波6」、「心電波7」、「心電波8」、「心拍数」の11項目が、心拍間隔時系列データである。
なお、図2は、一般的な心拍間隔の一例を示す図である。「心拍間隔」は、この図2に示すように、体表面から検出される電位(電圧の差)が変動する周期を計測することによって得られる計測値である。
再び図1に戻って説明する。
図1に図示する時系列データに含まれる20項目のうち、「温度」、「加速度x軸」、「加速度y軸」、「加速度z軸」の4つの項目は、計測対象者の周辺環境や行動を表す時系列データ(以下、「行動を表す時系列データ」と総称する)である。
なお、本実施形態に係る心拍間隔モデリング装置1が用いる時系列データに含まれる項目は、図1に示した時系列データに含まれる項目に限られるものではなく、その他、「筋電」、「血圧」、「血流」、および「血糖値」などの計測対象者の行動時の体の状態を表すデータや、「湿度」および「照度」などの計測対象者の行動時の周辺環境を表すデータが含まれていてもよい。
また、図1に図示する時系列データに含まれる20項目のうち、「時間」、「カウンター」、「電池残量目安」、「イベント」、および「Lead状態」の5つの項目は、計測に関するその他の情報を表すデータである。例えば、「Lead状態」は、計測器の電極リード線の状態を表す。
[状態空間モデルの構成]
以下、本実施形態に係る心拍間隔モデリング装置1が構築する状態空間モデルについて、図面を参照しながら説明する。
図3は、本発明の一実施形態に係る心拍間隔モデリング装置1が構築する状態空間モデルの一例を示す図である。
図示するように、図3には2つのグラフが含まれているが、図の左側のグラフの横軸は時間を、縦軸は心拍間隔の長さを表している。心拍間隔の計測値は時間とともに小刻みに変動しているが、例えば、図3の左側の図においては、心拍間隔の傾向を、大局的に4つの状態に分類することができる。以下、このような心拍間隔の大局的な傾向を示す潜在的な状態を「潜在状態」と称する。図示するように、図3に示す例においては、心拍間隔の大局的な傾向が、「睡眠状態」、「静止状態」、「静止+緊張状態」、および「運動状態」の4つの潜在状態に分類されている。
また、図3の右側のグラフは、潜在状態ごとの心拍間隔の計測値の分布を表している。この図3の右側のグラフも左側のグラフと同様に、縦軸は心拍間隔の長さを表している。また、横軸は、心拍間隔の計測値の出現頻度を表している。図示するように、図3の右側のグラフは、各潜在状態における心拍間隔の平均的な長さが、「睡眠状態」、「静止状態」、「静止+緊張状態」、「運動状態」の順に長い傾向であることを示している。
また、図3の右側のグラフは、各潜在状態における心拍間隔の分布において、互いに重なりが存在していることを示している。そのため、心拍間隔の単一の計測値のみでは、心拍間隔の状態がどの潜在状態にあるかを一意に判別することはできない。なお、本発明では、上記のように重なりが存在する心拍間隔の分布を分離して状態空間モデルを構築する必要があるため、このような潜在状態という概念を導入している。
状態空間モデルは、観測ベクトルyおよび状態ベクトルxから構成される。観測ベクトルyは、直接観測することができる変数である。一方、状態ベクトルxは、観測されない潜在状態と成分とから構成される変数である。なお、ここでいう「成分」とは、心拍間隔の計測における、心拍間隔の真の値との誤差の要因となる環境や現象のことをいう。心拍間隔の真の値との誤差の要因となる環境や現象とは、例えば、計測対象者や計測環境の多様性や、生体信号の歪み、雑音などのことをいう。また、ここでいう「真の値」とは、計測環境の多様性や、生体信号の歪み、雑音などの、心拍間隔の計測において生じるノイズを取り除いた、身体から生じる変動成分のことをいう。
本実施形態に係る心拍間隔モデリング装置1においては、観測ベクトルyは、心拍間隔の計測値である。また、状態ベクトルxは、n個の潜在状態z(i=0,1,…,n−1)によって構成される。また、潜在状態zは、トレンド成分T、自己回帰成分C、季節変動成分S、および、加速度から構成される行動成分Aの4つの成分によって構成される。すなわち、潜在状態zは以下の式(1)で表される。
i,t=Ti,t+Ci,t+Si,t+Ai,t ・・・式(1)
本実施形態に係る心拍間隔モデリング装置1においては、潜在状態間の遷移(例えば、zからzへの遷移(j=0,1,・・・,n−1))にはマルコフ性があると仮定される。すなわち、以下の式(2)のように、潜在状態zが、前期の状態に応じて確率的に潜在状態zへ遷移するものと仮定される。
i,j=q(Z=j|Zt−1=i) ・・・式(2)
観測ベクトルyは、時刻tのとき状態がzである確率をuとしたとき、以下の式(3)で表される。
=Σ_{k=0}^{n−1}ui,t ・・・式(3)
潜在状態zの時刻tの2次のトレンド成分Ti,tは、以下の式(4)で表される。
i,t=2Tt−1−Tt−2+ωi,t,0 ・・・式(4)
潜在状態zの時刻tの3次自己回帰成分Ci,tは、以下の式(5)で表される。
i,t=Σ_{k=1}^{3}αi,t−k+ωi,t,1 ・・・式(5)
潜在状態zの時刻tの、時間T周期の季節変動成分Si,tは、以下の式(6)で表される。なお、Tは概日リズムであれば24時間を設定する。
i,t=−Σ_{k=1}^{T−1}}St−1+ωi,t,2 ・・・式(6)
潜在状態zの時刻tの3軸加速度(a,a,a)から構成される行動成分Aは、以下の式(7)で表される。
i,t=β+β+β+ωi,t,3 ・・・式(7)
ここで、ωi,t,j(j=0,1,2,3)は各成分のシステムノイズを表す。システムノイズは、コーシー分布、正規分布、ガンマ分布、もしくはt分布のいずれかによってモデル化される。
以下、潜在状態ごとの心拍間隔の傾向のモデル化に適した分布の一例を示す。
図4は、本実施形態に係る心拍間隔モデリング装置1による潜在状態ごとの心拍間隔の傾向のモデル化を説明するための図である。図示するように、図4に示すグラフの縦軸は心拍間隔の長さを表し、横軸は時間を表す。
図4は、心拍間隔の計測対象者の行動が変化し、当該変化に伴って心拍間隔が変動している様子を表している。図4に示す例においては、心拍間隔モデリング装置1は、計測対象者の走行動作状態を潜在状態A、計測対象者の安静に向けた動作状態を潜在状態B、計測対象者の睡眠状態を潜在状態C、計測対象者の起き上がり動作状態を潜在状態D、および、計測対象者の腰掛け安静状態を潜在状態と分類している。
ここで、潜在状態B、および潜在状態Dは、心拍間隔の急激な変動が起こりうる状態であるため、コーシー分布としてモデル化することが適している。一方、潜在状態A、潜在状態C、および潜在状態Dは、心拍間隔の変化が少ない状態であるため、正規分布が適している。
なぜならば、コーシー分布は、分布の裾野が広く、期待値(平均値)が存在しないが、最頻値と中央値を得られるという特徴を有する。コーシー分布を用いると、大きな計測値の変化が突発的に生じたとしても、確率密度分布のパラメータが一意に収束しやすいという効果が得られる。よって、コーシー分布は、突発的な変化が想定される潜在状態における成分のシステムノイズをモデル化する場合において、より適した分布である。すなわち、コーシー分布は、寝ている、起きる、安静にする、運動する、精神的に緊張する、弛緩する、健常な状態である、および、病的状態である(例えば、頻脈性不整脈が発生している、または、徐脈性不整脈が発生している)などの多数の状態を包含するような潜在状態を想定した場合において、より適した分布である。
一方、正規分布、ガンマ分布、およびt分布は、狭い区間に集中してシャープである(分布の裾野が狭い)という特徴を有する。これらの分布は、数分間、あるいは数秒間などの比較的短い時間に一定の状態に留まっているような潜在状態における成分のシステムノイズをモデル化する場合において、より適した分布である。
上述したように、大きな計測値の変化を許容するシステムノイズと、短期の変化に適したシステムノイズと、を状態空間モデルに組み込むことにより、心拍間隔モデリング装置1は、相互の乖離から、変化点を検出し、潜在状態の大きな変化を認識ことができる。また、心拍間隔モデリング装置1は、変化した後の潜在状態の把握を迅速に行うことができる。これらはマルコフ過程の状態推移モデル(マルコフ転換モデル)としてモデル化できる。
なお、本実施形態においては、トレンド成分は2次、自己回帰成分は3次、季節変動は24時間、および、行動成分は加速度としたが、これに限られるものでなく、他のいかなる次元であっても、加速度以外の計測値をもとにしたものであっても、加速度などの計測値から行動を表す抽象的なラベルを生成したうえでそれを行動成分の変数として用いたものであっても良い。
なお、状態ベクトルxは、上記の4つの成分に限られるものではなく、突発的に生じる大きな変動(例えば、寝た状態から急に起き上がったときや、静止状態から急に動いたときなどにおいて生じる心拍間隔の急激な変化)をモデル化するために、自己減衰過程モデルを用いたり、短期と長期の循環変動成分を組み合わせて用いたり、その他の成分を含めても構わない。
[心拍間隔モデリング装置の機能構成]
以下、心拍間隔モデリング装置1の機能構成について、図面を参照しながら説明する。
図5は、本実施形態に係る心拍間隔モデリング装置1の機能構成を示すブロック図である。図示するように、心拍間隔モデリング装置1は、時系列データ取得部11と、モデル設計情報取得部12と、モデル構築部13と、推定部14と、異常判定部15と、を含んで構成される。
時系列データ取得部11は、心拍間隔時系列データを取得する。また、時系列データ取得部11は、心拍間隔とともに計測される、行動を表す時系列データを取得する。
モデル設計情報取得部12は、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報を取得する。また、モデル設計情報取得部12は、潜在状態の状態数を示すパラメータを取得する。また、モデル設計情報取得部12は、成分ごとのパラメータと推定範囲と異常判定閾値とを取得する。
なお、本実施形態における「成分ごとのパラメータ」とは、成分の次数のような、モデル設計に関するハイパーパラメータを指すものであり、モデルにおける係数や重みといったような、計測対象者や計測環境などに依存した個別パラメータを指すものではない。
モデル構築部13は、時系列データ取得部11によって取得された心拍間隔時系列データを用いて、モデル設計情報取得部12によって取得された成分ごとのパラメータに基づいて状態空間モデルを構築する。また、モデル構築部13は、モデル設計情報取得部12によって取得された潜在状態の状態数のパラメータに基づいて、潜在状態の遷移を加味した状態空間モデルを構築する。また、モデル構築部13は、心拍間隔時系列データに加え、時系列データ取得部11によって取得された行動を表す時系列データに基づいて状態空間モデルを構築する。
推定部14は、図5に図示するように、将来値予測部141と、真値推定部142と、欠損値補完部143と、状態系列推定部144と、を含んで構成される。
将来値予測部141は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの将来の値を予測する。
真値推定部142は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの真の値を推定する。
欠損値補完部143は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの欠損値を補完する。
状態系列推定部144は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲において遷移する潜在状態の系列を推定する。
異常判定部15は、時系列データ取得部11によって取得された心拍間隔時系列データと、将来値予測部141によって予測された心拍間隔時系列データの将来の値の推定結果、真値推定部142によって推定された心拍間隔時系列データの真の値の推定結果、または、状態系列推定部144によって推定された潜在状態の系列の推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを、モデル設計情報取得部12によって取得された異常判定閾値に基づいて判定する。
[心拍間隔モデリング装置の動作]
以下、心拍間隔モデリング装置1の動作の一例について、図面を参照しながら説明する。
図6は、本発明の一実施形態に係る心拍間隔モデリング装置1の動作を示すフローチャートである。本フローチャートは、心拍間隔モデリング装置1に、心拍間隔時系列データと行動を表す時系列データとが入力される際に開始する。
(ステップS1)時系列データ受付部11は、心拍間隔時系列データと、行動を表す時系列データと、を取得する。その後、ステップS2へ進む。
(ステップS2)モデル設計情報取得部12は、状態空間モデルのパラメータと、異常判定閾値と、を取得する。その後、ステップS3へ進む。なお、ここでモデル設計情報取得部12が取得するデータは、例えば、図7に示すようなデータである。
図7は、本発明の一実施形態に係る心拍間隔モデリング装置1のモデル設計情報取得部12が取得する状態空間モデルのパラメータと異常判定閾値とを示すデータの一例を示す図である。図示するように、図7に例示するデータは、心拍間隔モデリング装置1に対して、「潜在状態数n」、「推定範囲」、および「異常判定閾値」の3つのパラメータに、「3」、「10期先」、および「5%」の値をそれぞれ指定するためのデータである。以下、再び図6に戻って説明する。
(ステップS3)モデル構築部13は、ステップS1において時系列データ取得部11が取得した、時刻tまでの心拍間隔時系列データを用いて、ステップS2においてモデル設計情報取得部12が取得した成分ごとのパラメータに基づき、状態空間モデルを構築する。モデル構築部13は、上述したすべてのパラメータを、MCMC(Markov Chain Monte Carlo;マルコフ連鎖モンテカルロ)法を用いて推定する。その後、ステップS4へ進む。
(ステップS4)推定部14は、ステップS3においてモデル構築部13が構築した状態空間モデルを用いて、ステップS2においてモデル設計情報取得部12が取得したパラメータによって与えられた推定範囲の心拍間隔時系列データの値を推定する。その後、ステップS5へ進む。
なお、例えば、パラメータで与えられた推定範囲が将来の時刻の区間であるときは、推定部14の将来値予測部141が、将来の心拍間隔時系列データの値の予測値を予測することとなる。また、例えば、パラメータで与えられた推定範囲が過去の時刻の区間であり、心拍間隔時系列データが欠損していない区間であるときは、推定部14の真値推定部142が、心拍間隔時系列データの真の値を推定することとなる。また、例えば、パラメータで与えられた推定範囲が、過去の時刻の区間であり、心拍間隔時系列データが欠損している区間であるときは、推定部14の欠損値補完部143が、心拍間隔時系列データの欠損値を補完することとなる。
すなわち、推定部14は、上記のいずれの場合の推定(予測、補完)であっても、同一の状態空間モデルを用いることができる。
また、上述したステップS4における推定過程において、推定部14の状態系列推定部144が、尤度の高い潜在状態を選択することにより、当該潜在状態を推定結果として出力することもできる。例えば、走行や睡眠の時間情報を取得していない場合であっても、推定部14の状態系列推定部144は、心拍間隔時系列データから、図4に示したような潜在状態(例えば、走行状態や睡眠状態)の時間区間や潜在状態の系列を、推定結果として出力することができる。
例えば、図7に例示したデータが示すパラメータの指定のように、「推定範囲」のパラメータの値として「10期先」が指定された場合、推定部14の将来値予測部141は、時刻t+1から時刻t+10までの心拍間隔時系列データの値を予測する。ここで、現在時刻から1期先の時刻(時刻t+1)の観測ベクトルyt+1は、以下の式(8)によって予測される。
t+1=q0,00,t+1+q1,01,t+1+q1,11,t+1+q0,10,t ・・・式(8)
推定部14の将来値予測部141は、このような手順を10回繰り返すことによって、10期先の時刻(時刻t+10)の観測ベクトルyt+10を予測する。
なお、推定結果である観測ベクトルyt+10のとりうる値は、確率として得られる。
10期先の心拍間隔時系列データの値の推定結果の一例を図8に示す。
図8は、本発明の一実施形態に係る心拍間隔モデリング装置1の推定部14によって推定された推定結果の一例を示す図である。図示するように、図8に示すグラフの縦軸は心拍間隔を表し、横軸は時間を表している。図8に示す例においては、心拍間隔時系列データの値が、95%予測区間幅で確率としてとして表された場合を示している。以下、再び図6に戻って説明する。
(ステップS5)異常判定部15は、10期経過後に、実際の10期先の心拍間隔時系列データの計測値を取得し、当該計測値が、ステップS2においてモデル設計情報取得部12が取得した、パラメータとして与えられた異常判定閾値を満たしているか否かを判定し、その判定結果を出力する。図9に、10期先の心拍間隔時系列データに対する判定結果の一例を示す。
図9は、本発明の一実施形態に係る心拍間隔モデリング装置1の異常判定部15によって判定された判定結果の一例を示す図である。図8に示したグラフと同様に、図9に示すグラフの縦軸は心拍間隔を表し、横軸は時間を表している。
図9に示す例においては、10期経過後における、実際の10期先の心拍間隔時系列データの計測値が、推定部14によって推定された95%予測区間幅を外れた値であるため、異常判定部15は、計測対象者の心拍間隔が異常な状態であると判定し、「異常」であることを示す判定結果を出力する。もし、実際の10期先の心拍間隔時系列データの計測値が、推定部14によって推定された95%予測区間幅の範囲内に収まっている場合には、異常判定部15は、計測対象者の心拍間隔が正常な状態であると判定し、「正常」であることを示す判定結果を出力する。
以上説明したように、本実施形態に係る心拍間隔モデリング装置1は、心拍間隔時系列データを取得する時系列データ取得部11と、心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部12と、時系列データ取得部11によって取得された心拍間隔時系列データを用いて、モデル設計情報取得部12によって取得された成分ごとのパラメータに基づいて状態空間モデルを構築するモデル構築部13と、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの将来の値を予測する、推定部14の将来値予測部141と、を備える。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音、データの欠損が生じている場合であっても、心拍数や心拍間隔などの生体信号から、心拍間隔時系列データの将来の値を予測することができる。本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音を、状態空間モデルにおいてそれぞれ独立した成分として表現することによって、計測された生体信号を各成分に選り分けて解析することができ、心拍間隔時系列データの将来の値の予測精度を向上させることができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの真の値を推定する、推定部14の真値推定部142をさらに備える。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音、データの欠損が生じている場合であっても、心拍数や心拍間隔などの生体信号から、心拍間隔時系列データの真の値を推定することができる。本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音を、状態空間モデルにおいてそれぞれ独立した成分として表現することによって、計測された生体信号を各成分に選り分けて解析することができ、心拍間隔時系列データの真の値の推定精度を向上させることができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲における心拍間隔時系列データの欠損値を補完する、推定部14の欠損値補完部143をさらに備える。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音、データの欠損が生じている場合であっても、心拍数や心拍間隔などの生体信号から、心拍間隔時系列データの欠損値を補完することができる。本実施形態に係る心拍間隔モデリング装置1は、計測対象者や計測環境の多様性や、生体信号の歪み、雑音を、状態空間モデルにおいてそれぞれ独立した成分として表現することによって、計測された生体信号を各成分に選り分けて解析することができ、心拍間隔時系列データの欠損値の補完精度を向上させることができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1では、モデル設計情報取得部12は、潜在状態の状態数を示すパラメータを取得し、モデル構築部13は、モデル設計情報取得部12によって取得された潜在状態の状態数のパラメータに基づいて、潜在状態の遷移を加味した状態空間モデルを構築する。
なお、潜在状態の遷移に伴う心拍間隔の変動により、単一の状態を仮定した状態空間モデルでは、各成分の大きさを表すパラメータの値が単一に収束しない場合がある。例えば、横になって休んでいるときの状態と、起き上がって活動している状態と、では心拍間隔の変動の各成分は異なる挙動となりやすいため、適切なパラメータの設定が困難である。単一に収束しないままパラメータが設定されると、心拍間隔に大きな変動が生じた場合に、状態空間モデルから算出される信頼区間や予測区間が拡大するなどの問題を引き起こしやすく、心拍間隔時系列データの将来の値の予測精度、心拍間隔時系列データの真の値の推定精度、心拍間隔時系列データの欠損値の補完精度、あるいは心拍間隔の正常性についての判定精度を低下させてしまう。
上記の構成によれば、心拍間隔時系列が潜在状態によって異なる経時変化をする場合において、心拍間隔時系列の将来の値の予測精度、心拍間隔時系列データの真の値の推定精度、心拍間隔時系列データの欠損値の補完精度、あるいは心拍間隔の正常性についての判定精度を、さらに向上させることができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1では、推定部14は、モデル構築部13によって構築された状態空間モデルにおいて、モデル設計情報取得部12によって取得された推定範囲において遷移する潜在状態の系列を推定する。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、心拍間隔時系列データを潜在状態の系列に変換することができる。心拍間隔時系列データと潜在状態の系列とをデータの量子化という観点から比較すると、心拍間隔時系列データよりも潜在状態の系列のほうが量子化の粒度が荒い。そのため(すなわち、心拍間隔の取りうる値の数よりも、潜在状態として設定しうる値の数のほうが少ないため)、本実施形態に係る心拍間隔モデリング装置1は、より簡易な表現によって心拍間隔の状態の変化を表すことができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1では、モデル設計情報取得部12が異常判定閾値を取得し、心拍間隔モデリング装置1は、時系列データ取得部11によって取得された心拍間隔時系列データと、推定部14の将来値予測部141によって予測された心拍間隔時系列データの将来の値の推定結果、推定部14の真値推定部142によって推定された心拍間隔時系列データの真の値の推定結果、または、推定部14の欠損値補完部143によって推定された潜在的な状態系列の推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを、モデル設計情報取得部12によって取得された異常判定閾値に基づいて判定する異常判定部、を備える。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、推定部14の将来値予測部141が予測した心拍間隔時系列データの将来の値、推定部14の真値推定部142が推定した心拍間隔時系列データの真の値、あるいは推定部14の状態系列推定部144が推定した潜在状態の系列の推定結果を確率で表現する。これにより、本実施形態に係る心拍間隔モデリング装置1は、実際に計測された心拍間隔時系列データの値が異常判定閾値として与えられた確率を下回るか否かに基づいて、心拍間隔の正常性を判定することができる。つまり、本実施形態に係る心拍間隔モデリング装置1は、心拍間隔時系列データが確率的に低い経時的な変化をしている状態を、心拍間隔の異常(身体異常)として判定することができる。
また、以上説明したように、本実施形態に係る心拍間隔モデリング装置1では、時系列データ取得部11は、心拍間隔とともに計測される、行動を表す時系列データを取得し、モデル構築部13は、時系列データ取得部11によって取得された行動を表す時系列データに基づいて状態空間モデルを構築する。
この構成によれば、本実施形態に係る心拍間隔モデリング装置1は、行動を表す時系列データが心拍間隔時系列と連動して変化する場合において、心拍間隔時系列データの将来の値の予測精度、心拍間隔時系列データの真の値の推定精度、心拍間隔時系列データの欠損値の補完精度、潜在状態の系列の推定精度、および心拍間隔の異常(身体異常)の判定精度を、さらに向上させることができる。
なお、上述した実施形態における心拍間隔モデリング装置1の少なくとも1部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)などのプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
1・・・心拍間隔モデリング装置、11・・・時系列データ取得部、12・・・モデル設計情報取得部、13・・・モデル構築部、14・・・推定部、15・・・異常判定部、141・・・将来値予測部、142・・・真値推定部、143・・・欠損値補完部、144・・・状態系列推定部

Claims (8)

  1. 心拍間隔時系列データを取得する時系列データ取得部と、
    心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、
    前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータ、前記心拍間隔時系列データの大きな変化を許容するシステムノイズ、及び前記心拍間隔時系列データの短期の変化に適したシステムノイズに基づいて状態空間モデルを構築するモデル構築部と、
    前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの将来の値を予測する推定部と、
    を備える心拍間隔モデリング装置。
  2. 心拍間隔時系列データを取得する時系列データ取得部と、
    心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、
    前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータ、前記心拍間隔時系列データの大きな変化を許容するシステムノイズ、及び前記心拍間隔時系列データの短期の変化に適したシステムノイズに基づいて状態空間モデルを構築するモデル構築部と、
    前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの真の値を推定する推定部と、
    を備える心拍間隔モデリング装置。
  3. 心拍間隔時系列データを取得する時系列データ取得部と、
    心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得部と、
    前記時系列データ取得部によって取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得部によって取得された前記成分ごとのパラメータ、前記心拍間隔時系列データの大きな変化を許容するシステムノイズ、及び前記心拍間隔時系列データの短期の変化に適したシステムノイズに基づいて状態空間モデルを構築するモデル構築部と、
    前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲における心拍間隔時系列データの欠損値を補完する推定部と、
    を備える心拍間隔モデリング装置。
  4. 前記モデル設計情報取得部は、状態数を示すパラメータを取得し、
    前記モデル構築部は、前記モデル設計情報取得部によって取得された前記状態数のパラメータに基づいて、潜在的な状態の遷移を加味した状態空間モデルを構築する
    請求項1から請求項3のうちいずれか一項に記載の心拍間隔モデリング装置。
  5. 前記推定部は、前記モデル構築部によって構築された前記状態空間モデルにおいて、前記モデル設計情報取得部によって取得された前記推定範囲において遷移する潜在的な状態系列を推定する
    請求項4に記載の心拍間隔モデリング装置。
  6. 前記モデル設計情報取得部は、異常判定閾値を取得し、
    前記時系列データ取得部によって取得された前記心拍間隔時系列データと、前記推定部によ推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを前記モデル設計情報取得部によって取得された前記異常判定閾値に基づいて判定する異常判定部、
    を備える請求項1,2,4,又は5のうちいずれか一項に記載の心拍間隔モデリング装置。
  7. 前記時系列データ取得部は、心拍間隔とともに計測される、行動を表す時系列データを取得し、
    前記モデル構築部は、前記時系列データ取得部によって取得された前記行動を表す時系列データに基づいて前記状態空間モデルを構築する
    請求項1から請求項6のうちいずれか一項に記載の心拍間隔モデリング装置。
  8. 心拍間隔時系列データを取得する時系列データ取得ステップと、
    心拍間隔の真の値との誤差の要因を示す成分ごとのパラメータと推定範囲を示す情報とを取得するモデル設計情報取得ステップと、
    前記時系列データ取得ステップにおいて取得された前記心拍間隔時系列データを用いて、前記モデル設計情報取得ステップにおいて取得された前記成分ごとのパラメータ、前記心拍間隔時系列データの大きな変化を許容するシステムノイズ、及び前記心拍間隔時系列データの短期の変化に適したシステムノイズに基づいて状態空間モデルを構築するモデル構築ステップと、
    前記モデル構築ステップにおいて構築された前記状態空間モデルにおいて、前記モデル設計情報取得ステップにおいて取得された前記推定範囲における心拍間隔時系列データの将来の値、真の値、及び潜在的な状態系列のうち少なくとも1つを推定する推定ステップと、
    異常判定閾値を取得し、前記時系列データ取得ステップにおいて取得された前記心拍間隔時系列データと、前記推定ステップによる推定結果と、を比較して、当該推定結果が心拍間隔の異常状態を示しているか否かを前記異常判定閾値に基づいて判定する異常判定ステップと、
    を有する異常状態判定方法。
JP2017134829A 2017-07-10 2017-07-10 心拍間隔モデリング装置、および異常状態判定方法 Active JP6767318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017134829A JP6767318B2 (ja) 2017-07-10 2017-07-10 心拍間隔モデリング装置、および異常状態判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017134829A JP6767318B2 (ja) 2017-07-10 2017-07-10 心拍間隔モデリング装置、および異常状態判定方法

Publications (2)

Publication Number Publication Date
JP2019013659A JP2019013659A (ja) 2019-01-31
JP6767318B2 true JP6767318B2 (ja) 2020-10-14

Family

ID=65357913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017134829A Active JP6767318B2 (ja) 2017-07-10 2017-07-10 心拍間隔モデリング装置、および異常状態判定方法

Country Status (1)

Country Link
JP (1) JP6767318B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6700509B1 (ja) * 2019-04-02 2020-05-27 澪標アナリティクス株式会社 推定装置、推定方法、及びプログラム
CN111083665B (zh) * 2019-12-05 2023-09-19 上海旗旌科技有限公司 一种双主控交互通信的方法及设备
JP7266548B2 (ja) * 2020-03-26 2023-04-28 Kddi株式会社 訓練性ストレス情報を用いて体調を推定する装置、プログラム及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274102A1 (en) * 2009-04-22 2010-10-28 Streamline Automation, Llc Processing Physiological Sensor Data Using a Physiological Model Combined with a Probabilistic Processor
JP6244178B2 (ja) * 2013-11-12 2017-12-06 沖電気工業株式会社 情報処理装置、情報処理方法及びプログラム
US20160029966A1 (en) * 2014-07-31 2016-02-04 Sano Intelligence, Inc. Method and system for processing and analyzing analyte sensor signals
JP6356616B2 (ja) * 2015-02-17 2018-07-11 日本電信電話株式会社 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム
JP6093833B1 (ja) * 2015-10-22 2017-03-08 日本電信電話株式会社 心拍数推定装置、心理状態判定装置、心拍数推定方法、及びそのプログラム

Also Published As

Publication number Publication date
JP2019013659A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
US10561321B2 (en) Continuous monitoring of a user's health with a mobile device
US11877830B2 (en) Machine learning health analysis with a mobile device
US20190076031A1 (en) Continuous monitoring of a user's health with a mobile device
JP7293050B2 (ja) 軽度認知障害判定システム
WO2019071201A1 (en) CONTINUOUS MONITORING OF THE HEALTH OF A USER WITH A MOBILE DEVICE
US20170042433A1 (en) Blood pressure estimating apparatus and method
Cuaya et al. A dynamic Bayesian network for estimating the risk of falls from real gait data
JP6767318B2 (ja) 心拍間隔モデリング装置、および異常状態判定方法
KR20210034724A (ko) 생체 신호를 추정하는 전자 장치 및 그 방법
TW201632140A (zh) 使用動態心跳速率預測模型之用於生物激發動作補償及即時生理負載估計之系統與方法
JP6943287B2 (ja) 生体情報処理装置、生体情報処理システム、生体情報処理方法、およびプログラム
Arpaia et al. Conceptual design of a machine learning-based wearable soft sensor for non-invasive cardiovascular risk assessment
WO2023112384A1 (ja) 計算機システム及び情動推定方法
CN111161883A (zh) 基于变分自编码器的疾病预测系统及其电子设备
US10595789B2 (en) Meal time estimation method, meal time estimation device, and recording medium
Roy et al. BePCon: a photoplethysmography-based quality-aware continuous beat-to-beat blood pressure measurement technique using deep learning
EP3861558A1 (en) Continuous monitoring of a user's health with a mobile device
Nathan et al. A particle filter framework for the estimation of heart rate from ECG signals corrupted by motion artifacts
US20240099593A1 (en) Machine learning health analysis with a mobile device
Chou et al. A Real‐Time Analysis Method for Pulse Rate Variability Based on Improved Basic Scale Entropy
Lameski et al. Challenges in data collection in real-world environments for activity recognition
JP7322818B2 (ja) 推定システム及びシミュレーションシステム
CN113164057B (zh) 利用移动装置的机器学习健康分析
Zhang et al. Continual learning for cuffless blood pressure estimation
Faes et al. Information decomposition: A tool to dissect cardiovascular and cardiorespiratory complexity

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200917

R150 Certificate of patent or registration of utility model

Ref document number: 6767318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250