JP7458170B2 - 学習装置、学習方法、および測定装置 - Google Patents
学習装置、学習方法、および測定装置 Download PDFInfo
- Publication number
- JP7458170B2 JP7458170B2 JP2019208015A JP2019208015A JP7458170B2 JP 7458170 B2 JP7458170 B2 JP 7458170B2 JP 2019208015 A JP2019208015 A JP 2019208015A JP 2019208015 A JP2019208015 A JP 2019208015A JP 7458170 B2 JP7458170 B2 JP 7458170B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- subject
- electrocardiogram waveform
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 102
- 238000005259 measurement Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 14
- 230000000747 cardiac effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/35—Detecting specific parameters of the electrocardiograph cycle by template matching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
- A61B2560/0238—Means for recording calibration data
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、学習装置、学習方法、および測定装置に関する。
近年、被験者のバイタルデータを取得する種々の装置が開発されている。例えば、特許文献１には、移動体のシートとステアリングとに設けた電極を用いて被験者の心電波形を計測する技術が開示されている。当該技術によれば、心電波形の取得に伴う被験者の負担を低減することができる。
しかし、特許文献１に記載の技術では、移動体の振動や被験者の体動等によりノイズが発生しやすく、心電波形の取得精度が低下する可能性がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みを提供することにある。
上記課題を解決するために、本発明のある観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、を備える、学習装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、を含む、学習方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、を備え、前記測定部は、前記第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記バイタルデータの出力に係る学習を行った学習済みモデルを用いて、前記バイタルデータを出力する、測定装置が提供される。
以上説明したように、本発明によれば、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みが提供される。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜構成例＞
（学習装置１０）
本実施形態に係る学習装置１０は、異なる２つの方式により同期間に取得された同一種のセンサデータを入力とした教師あり学習を行う装置であってよい。ここで、教師あり学習とは、入力データ（学習データ）と当該入力データに対する正解データ（教師データ）のセットをコンピュータに与え、コンピュータに両者の対応を学習させる手法を指す。図１は、本実施形態に係る学習装置１０の機能構成例を示す図である。図１に示すように、本実施形態に係る学習装置１０は、学習部１１０および記憶部１２０を備えてもよい。なお、以下においては、学習装置１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を一例として説明する。
（学習装置１０）
本実施形態に係る学習装置１０は、異なる２つの方式により同期間に取得された同一種のセンサデータを入力とした教師あり学習を行う装置であってよい。ここで、教師あり学習とは、入力データ（学習データ）と当該入力データに対する正解データ（教師データ）のセットをコンピュータに与え、コンピュータに両者の対応を学習させる手法を指す。図１は、本実施形態に係る学習装置１０の機能構成例を示す図である。図１に示すように、本実施形態に係る学習装置１０は、学習部１１０および記憶部１２０を備えてもよい。なお、以下においては、学習装置１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を一例として説明する。
本実施形態に係る学習部１１０は、被験者から第１の方式により取得された第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータの取得期間と同期間に当該被験者から取得された第２のセンサデータ、を教師データとして、バイタルデータの出力に係る学習を行う、ことを特徴の一つとする。係る構成によれば、ノイズが多く含まれる第１のセンサデータとノイズの影響が少ない第２のセンサデータの対応関係を学習することで、第１のセンサデータからノイズを除去したバイタルデータを出力する学習済みモデルを生成することが可能となる。
本実施形態に係る学習部１１０は、教師あり学習を実現可能な任意の機械学習手法を用いて上記のような学習を行ってよい。学習部１１０は、例えば、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などのアルゴリズムを用いて学習を行う。
学習部１１０の機能は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。本実施形態に係る学習部１１０が有する機能の詳細については別途詳細に説明する。
本実施形態に係る記憶部１２０は、学習装置１０の動作に係る各種の情報を記憶する。記憶部１２０は、例えば、学習部１１０の学習に用いられる第１のセンサデータおよび第２センサデータ、各種のパラメータ等を記憶する。
以上、本実施形態に係る学習装置１０の機能構成例について述べた。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る学習装置１０の構成は係る例に限定されない。本実施形態に係る学習装置１０は、例えば、操作者による操作を受け付ける操作部や、各種のデータを出力するための出力部等をさらに備えてもよい。本実施形態に係る学習装置１０の構成は、仕様や運用に応じて柔軟に変形され得る。
続いて、本実施形態に係る測定装置２０の機能構成例について述べる。本実施形態に係る測定装置２０は、学習装置１０が構築した学習済みモデルを用いてバイタルデータの測定を実施する装置であってよい。図２は、本実施形態に係る測定装置２０の機能構成例を示す図である。図２に示すように、本実施形態に係る測定装置２０は、取得部２１０および測定部２２０を備えてもよい。
本実施形態に係る取得部２１０は、被験者から第１のセンサデータを取得するための構成である。このために、本実施形態に係る取得部２１０は、取得する第１のセンサデータの特性に応じた各種のセンサを備える。
本実施形態に係る測定部２２０は、取得部２１０が取得した第１のセンサデータを入力として、被験者の生命兆候を示すバイタルデータを出力する。この際、本実施形態に係る測定部２２０は、学習部１１０による学習により構築された学習済みモデルを用いてバイタルデータの出力を行う。すなわち、本実施形態に係る測定部２２０は、第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に被験者から取得された第２のセンサデータに基づく教師データを用いて、バイタルデータの出力に係る学習を行った学習済みモデルを用いて、バイタルデータを出力すること、を特徴の一つとする。
上記の構成によれば、ノイズの混入が想定される第１のセンサデータのみを用いて、当該ノイズの影響を取り除いた高精度のバイタルデータを得ることが可能となる。なお、本実施形態に係る測定部２２０の機能は、各種のプロセッサにより実現される。
以上、本実施形態に係る測定装置２０の機能構成例について述べた。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る測定装置２０の機能構成は係る例に限定されない。本実施形態に係る測定装置２０は、操作部や出力部、バイタルデータの解析を行う解析部、解析結果に基づいて各種の報知を行う報知部等をさらに備えてもよい。本実施形態に係る測定装置２０の構成は、測定対象とするバイタルデータの特性や、バイタルデータの活用用途等に応じて柔軟に変形され得る。
＜詳細＞
次に、本実施形態に係るセンサデータについて具体例を挙げながら説明する。近年では、様々な種別のセンサデータを取得する装置が開発されている。また、同一種のセンサデータを取得する場合であっても、複数の方式が存在する場合がある。ここでは、被験者の心臓の活動により生じる電圧の変化を心電波形として取得する場合を想定する。
次に、本実施形態に係るセンサデータについて具体例を挙げながら説明する。近年では、様々な種別のセンサデータを取得する装置が開発されている。また、同一種のセンサデータを取得する場合であっても、複数の方式が存在する場合がある。ここでは、被験者の心臓の活動により生じる電圧の変化を心電波形として取得する場合を想定する。
心電波形を取得する方式としては、被験者の皮膚に複数の電極を直接装着し、当該複数の電極により電圧の変化を記録する、例えば１２誘導心電図等の方式が挙げられる。係る方式によれば、ノイズの影響が少ない高精度の心電波形を得ることができる。一方、係る方式は、被験者の行動を制限する場合も多く、また皮膚に電極を直接装着するために、被験者に煩わしさを感じさせる場合もある。
また、心電波形を取得する他の方式としては、被験者と接触することが予想される複数の箇所に電極を設置し、複数の当該電極に被験者が接触した際に得られた電圧の変化を記録する方式が挙げられる。このような方式は、例えば、装置の操作を行う被験者の心電波形を取得したい場合等に用いられる。一例としては、車両等の移動体を運転する運転手が、運転中に接触することが予想されるステアリングや運転席の座席等に電極を配置し、当該運転手の心電図を取得する技術が知られている。係る技術によれば、運転手の皮膚に電極を直接貼り付ける必要がないため、運転手に意識させることなく心電波形を取得することが可能である。一方、この場合、運転行動に伴う運転手の体動や、車両の振動等によりノイズが生じやすく、取得される心電波形の精度が低下する可能性がある。
このように、センサデータを取得するための複数の方式には、それぞれに利点がある一方で、取得されるセンサデータの精度に差が生じるケースも存在する。このため、ある方式が有する利点を活かしながら、同時にセンサデータの取得精度を向上させる技術が求められている。
上記の点を解決するために、本実施形態に係る学習部１１０は、第１の方式により得られた第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に取得された第２のセンサデータに基づく教師データを用いて学習を行う。これによれば、第１のセンサデータのみからでもノイズの影響が少ない高精度のバイタルデータを出力する学習済みモデルを構築することが可能となる。
以下では、本実施形態に係るバイタルデータが心臓の活動に係るデータである場合を一例として説明する。この場合、学習部１１０は、第１の方式により取得された第１の心電波形を学習データとし、第２の方式により第１の心電波形と同期間に取得された第２の心電波形に基づく教師データを用いて、被験者の被検査の心臓の活動に係るデータの出力を学習してもよい。
この場合、上記の第１の方式は、被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、上記の第２の方式は、被験者の皮膚に直接装着された少なくとも２つの電極を用いて心電波形を取得する方式であってもよい。
例えば、被験者が車両等の移動体を運転する運転手である場合、上記の第１の方式において用いられる２つの電極は、被験者が着座する座席と、被験者が操作する被操作装置（例えば、ステアリング）とに設けられてもよい。
上記のような構成によれば、運転手に煩わしさを感じさせない等の第１の方式が有する利点をそのままに、かつ運転手の体動や車両の振動等により生じるノイズを排除した高精度のデータを取得することが可能となる。
なお、本実施形態に係る学習部１１０は、第２の心電波形そのものを教師データとして、第１の心電波形からノイズが除去された第３の心電波形の出力に係る学習を行ってもよい。この場合、第３の心電波形を目的に応じて解析することで、様々な生理指標を得ることができる。
一方で、予め心電波形から得たい生理指標が定まっている場合においては、当該整理指標に応じた規定の特徴点を学習部１１０に学習させることも可能である。ここで、一般的な心電波形における特徴点（特徴波形）について説明する。
図３は、一周期における一般的な心電波形の例を示す図である。なお、図３においては、横軸において時間の経過が、縦軸において電圧の変化が示されている。図３に示すように、一般的な心電波形には、特徴的な形状を示す複数の特徴波形が観察され得る。特徴波形の一例としては、Ｐ波、Ｑ波、Ｒ波、Ｓ波、ＱＲＳ波（Ｑ波、Ｒ波、およびＳ波から形成される）Ｔ波、およびＵ波等が挙げられる。
このうち、例えば、Ｒ波は、心拍変動（揺らぎ）の指標として重要な特徴波形である。ある周期におけるＲ波と次周期におけるＲ波の間隔（ＲＲＩ：Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）は、心拍の周期を算出するために用いられる。また、ＲＲＩにはストレスや疲労により揺らぎが生じることも知られており、被験者の身体的負担や心理的負担を検出する際にも有効な生理指標となる。その他、例えば、一周期におけるＱ波とＴ波の間隔であるＱＴＩ（Ｑ－Ｔ Ｉｎｔｅｒｖａｌ）は、心室の興奮の始まりから興奮が消退するまでの時間を示しており、不整脈の検出等に重要な生理指標である。
このことから、本実施形態に係る学習部１１０は、第２の心電波形から得られた、第２の心電波形における特徴点の存在確率を示す存在確率データを教師データとして、第１の心電波形における上記規定の特徴点の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
本実施形態に係る学習部１１０は、例えば、第２の心電波形におけるＲ波の存在確率を示す存在確率データを教師データとして、第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
上記のような学習によれば、例えば、Ｒ波等の任意の特徴点を高精度に検出する学習済みモデルを構築することができる。また、当該学習済みモデルを用いることで、被験者のＲＲＩ等の生理指標をリアルタイムに測定することが可能となる。
このように、本実施形態に係る学習部１１０は、学習済みモデルが搭載される測定装置２０の利用用途に応じた教師データを用いて学習を行ってよい。
図４は、本実施形態に係る学習データおよび教師データの一例を示す図である。図４の上段には、学習データとして用いられる第１のセンサデータ（第１の心電波形）が示されている。また、図４の中段には、教師データＡとして用いられる、第１のセンサデータと同期間に取得された第２のセンサデータ（第２の心電波形）が示されている。また、図４の下段には、教師データＢとして用いられる、上記第２のセンサデータに基づいて生成されたＲ波の存在確率データが示されている。なお、図４においては、各データにおけるＲ波（Ｒ波ピーク）の位置が点線により示されている。
図４に示すように、第１の方式により取得される第１のセンサデータは、ノイズを多く含むものであり、そのままでは、Ｒ波をうまく検出できない場合がある。この際、ノイズの影響が少ない第２のセンサデータを教師データＡとして用いることで、第１のセンサデータと第２のセンサデータとの対応関係を学習部１１０に学習させることが可能である。
本実施形態に係る測定部２２０は、上記のような学習により構築された学習済みモデルを用いることで、図５に示すように、第１のセンサデータを入力として、ノイズが排除された第３のセンサデータ（第３の心電波形）を出力することができる。これによれば、出力された第３のセンサデータに対し任意の加工や解析を行うことで、被験者に係る様々な生理指標を精度高く得ることが可能となる。
一方、図４に示したような存在確率データを教師データＢとして用いる場合、第１のセンサデータと任意の特徴点の対応関係を直接的に学習部１１０に学習させることが可能である。
この場合、本実施形態に係る測定部２２０は、図６に示すように、第１のセンサデータを入力として、例えばＲ波等の規定の特徴点に係る存在確率データを出力することができる。これによれば、例えば、ＲＲＩ等の生理指標をリアルタイムに測定し、測定値に応じた各種のアクションを行うこと等が可能となる。なお、図４および図５においては、存在確率データが０（存在しない）または１（存在する）の２値をとる場合を例示したが、本実施形態係る存在確率データは、３値以上をとってもよい。
＜学習フェーズおよび測定フェーズの流れ＞
次に、本実施形態に係る学習装置１０を用いた学習を行う学習フェーズ、および測定装置２０を用いた測定を行う測定フェーズの流れについて説明する。図７は、本実施形態に係る学習フェーズの流れを示すフローチャートである。
次に、本実施形態に係る学習装置１０を用いた学習を行う学習フェーズ、および測定装置２０を用いた測定を行う測定フェーズの流れについて説明する。図７は、本実施形態に係る学習フェーズの流れを示すフローチャートである。
図７に示すように、本実施形態に係る学習フェーズにおいては、まず、第１のセンサデータおよび第２のセンサデータの取得が行われる（Ｓ１０２）。この際、第１のセンサデータおよび第２のセンサデータは、時間軸における同期が可能なようにタイムスタンプ等の情報と共に取得されてよい。また、第１のセンサデータおよび第２のセンサデータは、学習装置１０とは別途の装置により取得されてもよい。取得された第１のセンサデータおよび第２のセンサデータは、学習装置１０の記憶部１２０に記憶される。
次に、必要に応じて第１のセンサデータおよび第２のセンサデータの加工が行われる（Ｓ１０４）。例えば、教師データとして、規定の特徴点に係る存在確率データを用いる場合、ステップＳ１０４では、ステップＳ１０２において取得された第２のセンサデータを存在確率データに変換する処理が行われてよい。また、第１のセンサデータや第２のセンサデータに含まれるノイズを軽減するための各種のフィルタ処理等が行われてもよい。なお、上記のような加工は学習装置１０とは別途の装置により実行されてもよい。
次に、学習部１１０は、第１のセンサデータを学習データとし、第２のセンサデータに基づく教師データを用いた学習を行う（Ｓ１０６）。この際、学習部１１０は、第２のセンサデータそのもの（あるいはフィルタ処理が施された第２のセンサデータ）を教師データとして用いてもよいし、ステップＳ１０４において生成された存在確率データを教師データとしてもよい。
以上、本実施形態に係る学習フェーズの流れについて説明した。続いて、本実施形態に係る測定フェーズの流れについて説明する。図８は、本実施形態に係る測定フェーズの流れを示すフローチャートである。
図８に示すように、本実施形態に係る測定フェーズにおいては、まず、取得部２１０が第１の方式により第１のセンサデータを取得する（Ｓ２０２）。取得部２１０は、例えば、車両のステアリングと座席に配置した複数の電極により運転手の心電波形を第１のセンサデータとして取得してもよい。
次に、測定部２２０は、ステップＳ２０２において取得された第１のセンサデータを学習済みモデルに入力し、バイタルデータの出力を行う（Ｓ２０４）。学習フェーズにおいて第２のセンサデータを教師データとして学習を行った場合、上記のバイタルデータは、第１のセンサデータからノイズが除去された第３のセンサデータであり得る。一方、学習フェーズにおいて存在確率データを教師データとして学習を行った場合、上記のバイタルデータは、任意の特徴点の存在確率を示す存在確率データであり得る。
次に、必要に応じて、ステップＳ２０４において出力されたバイタルデータに基づく各種の動作が実行される（Ｓ２０６）。上記の動作は、例えば、バイタルデータから検出されたＲＲＩに基づく報知等であってもよい。上記の動作は、測定装置２０とは別途の装置により実行されてもよい。
＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の実施形態では、学習部１１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を主な例として述べた。一方、学習部１１０による学習の対象は、バイタルデータの出力に限定されない。学習部１１０は、例えば、任意の装置の稼働状況を示すデータ等の出力に係る学習を行うことも可能である。
また、上記の実施形態では、心電波形を取得する第１の方式として、被験者が接触することが予想される箇所に電極を配置する方式を、第２の方式として、被験者の皮膚に電極を直接する方式を例に挙げた。一方、本技術における第１の方式および第２の方式は、ノイズの影響の受けやすさに差がある任意の異なる方式であってよい。例えば、心拍を取得する場合、第１の方式は、ドップラーセンサを用いた非接触方式であってもよいし、第２の方式は、被験者の皮膚に電極を装着する接触方式であってもよい。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
１０：学習装置、１１０：学習部、１２０：記憶部、２０：測定装置、２１０：取得部、２２０：測定部
Claims (8)
- 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、
を備え、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記学習部は、前記第１の方式により取得された第１の心電波形を学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形における拍変動の指標であるＲ波の存在確率を示す存在確率データを教師データとし、前記第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行う、
学習装置。 - 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、
を備え、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記学習部は、前記第１の方式により取得された第１の心電波形を学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形に基づく教師データを用いて、前記被験者の心臓の活動に係るデータの出力を学習し、
前記第１の方式は、前記被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第２の方式は、前記被験者の皮膚に装着された少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第１の方式において用いられる２つの前記電極は、前記被験者が着座する座席と、前記被験者が操作する被操作装置と、に設けられる、
学習装置。 - 前記学習部は、前記第２の心電波形を教師データとして、前記第１の心電波形からノイズが除去された第３の心電波形の出力に係る学習を行う、
請求項１に記載の学習装置。 - 前記被験者は、移動体を運転する運転手である、
請求項１から請求項３までのいずれか一項に記載の学習装置。 - 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、
を含み、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記学習を行うことは、前記第１の方式により取得された第１の心電波形を学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形における拍変動の指標であるＲ波の存在確率を示す存在確率データを教師データとし、前記第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行うこと、をさらに含む、
学習方法。 - 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、
を含み、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記学習を行うことは、前記第１の方式により取得された第１の心電波形を学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形に基づく教師データを用いて、前記被験者の心臓の活動に係るデータの出力を学習すること、をさらに含み、
前記第１の方式は、前記被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第２の方式は、前記被験者の皮膚に装着された少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第１の方式において用いられる２つの前記電極は、前記被験者が着座する座席と、前記被験者が操作する被操作装置と、に設けられる、
学習方法。 - 被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、
を備え、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記測定部は、前記第１の方式により取得された第１の心電波形を学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形における拍変動の指標であるＲ波の存在確率を示す存在確率データを教師データとし、前記第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行った学習済みモデルを用いて、前記被験者の心臓の活動に係るデータを出力する、
測定装置。 - 被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、
を備え、
前記バイタルデータは、心臓の活動に係るデータを含み、
前記測定部は、前記第１の方式により取得された第１の心電波形を学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形に基づく教師データを用いて、前記被験者の心臓の活動に係るデータの出力に係る学習を行った学習済みモデルを用いて、前記被験者の心臓の活動に係るデータを出力し、
前記第１の方式は、前記被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第２の方式は、前記被験者の皮膚に装着された少なくとも２つの電極を用いて心電波形を取得する方式であり、
前記第１の方式において用いられる２つの前記電極は、前記被験者が着座する座席と、前記被験者が操作する被操作装置と、に設けられる、
測定装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019208015A JP7458170B2 (ja) | 2019-11-18 | 2019-11-18 | 学習装置、学習方法、および測定装置 |
| CN202080074933.9A CN114599286A (zh) | 2019-11-18 | 2020-08-11 | 学习装置、学习方法以及测定装置 |
| DE112020005694.5T DE112020005694T5 (de) | 2019-11-18 | 2020-08-11 | Lerngerät, Lernverfahren, und Messgerät |
| US17/763,479 US20220336102A1 (en) | 2019-11-18 | 2020-08-11 | Learning device, learning method, and measurement device |
| PCT/JP2020/030608 WO2021100265A1 (ja) | 2019-11-18 | 2020-08-11 | 学習装置、学習方法、および測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019208015A JP7458170B2 (ja) | 2019-11-18 | 2019-11-18 | 学習装置、学習方法、および測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021078682A JP2021078682A (ja) | 2021-05-27 |
| JP7458170B2 true JP7458170B2 (ja) | 2024-03-29 |
Family
ID=75961805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019208015A Active JP7458170B2 (ja) | 2019-11-18 | 2019-11-18 | 学習装置、学習方法、および測定装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220336102A1 (ja) |
| JP (1) | JP7458170B2 (ja) |
| CN (1) | CN114599286A (ja) |
| DE (1) | DE112020005694T5 (ja) |
| WO (1) | WO2021100265A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022738A (ja) | 2009-07-15 | 2011-02-03 | Nissan Motor Co Ltd | 運転者状態推定装置及び方法 |
| JP2017225489A (ja) | 2016-06-20 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2018163558A1 (ja) | 2017-03-08 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2018202130A (ja) | 2017-05-30 | 2018-12-27 | アルパイン株式会社 | 状態推定装置、情報処理装置、状態推定システム |
| US20190117096A1 (en) | 2017-10-24 | 2019-04-25 | Stmicroelectronics S.R.L. | Method of processing electrophysiological signals and corresponding system, vehicle, and computer program product |
| JP2019080809A (ja) | 2017-10-31 | 2019-05-30 | トヨタ自動車株式会社 | 状態推定装置 |
| CN109864737A (zh) | 2019-04-02 | 2019-06-11 | 安徽心之声医疗科技有限公司 | 一种心电信号中p波识别方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5050828B2 (ja) | 2007-12-17 | 2012-10-17 | 富士通株式会社 | 片手対応ステアリング心電検知装置 |
-
2019
- 2019-11-18 JP JP2019208015A patent/JP7458170B2/ja active Active
-
2020
- 2020-08-11 DE DE112020005694.5T patent/DE112020005694T5/de active Pending
- 2020-08-11 CN CN202080074933.9A patent/CN114599286A/zh active Pending
- 2020-08-11 US US17/763,479 patent/US20220336102A1/en active Pending
- 2020-08-11 WO PCT/JP2020/030608 patent/WO2021100265A1/ja active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022738A (ja) | 2009-07-15 | 2011-02-03 | Nissan Motor Co Ltd | 運転者状態推定装置及び方法 |
| JP2017225489A (ja) | 2016-06-20 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2018163558A1 (ja) | 2017-03-08 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2018202130A (ja) | 2017-05-30 | 2018-12-27 | アルパイン株式会社 | 状態推定装置、情報処理装置、状態推定システム |
| US20190117096A1 (en) | 2017-10-24 | 2019-04-25 | Stmicroelectronics S.R.L. | Method of processing electrophysiological signals and corresponding system, vehicle, and computer program product |
| JP2019080809A (ja) | 2017-10-31 | 2019-05-30 | トヨタ自動車株式会社 | 状態推定装置 |
| CN109864737A (zh) | 2019-04-02 | 2019-06-11 | 安徽心之声医疗科技有限公司 | 一种心电信号中p波识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112020005694T5 (de) | 2022-09-08 |
| WO2021100265A1 (ja) | 2021-05-27 |
| JP2021078682A (ja) | 2021-05-27 |
| CN114599286A (zh) | 2022-06-07 |
| US20220336102A1 (en) | 2022-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jung et al. | Utilizing deep learning towards multi-modal bio-sensing and vision-based affective computing | |
| JP6435104B2 (ja) | 身体状態の変化を判定するシステム及び方法 | |
| EP3672474A1 (en) | A method of detecting abnormalities in ecg signals | |
| CN114901143A (zh) | 使用深度神经网络和基于规则的系统进行缩减导联心电图诊断的系统和方法 | |
| CN109009084B (zh) | 多导联心电信号的qrs波群校验方法、装置及设备、介质 | |
| KR20090096051A (ko) | 긴장도를 조절하는 드라이빙 시뮬레이션 시스템 및 방법과이에 사용되는 기록매체 | |
| CN114901145A (zh) | 使用深度神经网络和基于规则的系统进行心电图诊断的系统和方法 | |
| JP7458170B2 (ja) | 学習装置、学習方法、および測定装置 | |
| Harrison et al. | EEG and fMRI agree: Mental arithmetic is the easiest form of imagery to detect | |
| US11559244B2 (en) | System and methods for consciousness evaluation in non-communicating subjects | |
| JP4649429B2 (ja) | 心拍測定システム及び方法 | |
| US20160220190A1 (en) | Patient signal analysis based on affine template matching | |
| CN116504398A (zh) | 用于使用基于变换器的神经网络来进行心律失常预测的方法和系统 | |
| JP2021081917A (ja) | 学習データ拡張方法、および学習データ生成装置 | |
| JP7285763B2 (ja) | 学習装置、学習方法、および測定装置 | |
| JP7002168B1 (ja) | 心電図分析装置、心電図分析方法及びプログラム | |
| JP7479909B2 (ja) | 学習装置、学習方法、および測定装置 | |
| KR20220028967A (ko) | 뉴로피드백 기반의 치료 장치 및 치료 방법 | |
| JP7254399B1 (ja) | プログラム、出力装置及びデータ処理方法 | |
| JP7479106B1 (ja) | プログラム、出力装置及び出力方法 | |
| Gregg et al. | Detection of left arm and left leg lead-wire interchange based on serial ECGs | |
| WO2024106005A1 (ja) | プログラム、出力装置及び出力方法 | |
| TWI744017B (zh) | 疲勞分析方法 | |
| US20230277107A1 (en) | Systems and methods for visual tracing of abnormality in diagnostic and monitoring clinical applications | |
| WO2024099868A1 (en) | Cardiotocographic scanning session duration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7458170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |