JP6646081B2 - 心拍数推定のためのシステム及び方法 - Google Patents

心拍数推定のためのシステム及び方法 Download PDF

Info

Publication number
JP6646081B2
JP6646081B2 JP2018013090A JP2018013090A JP6646081B2 JP 6646081 B2 JP6646081 B2 JP 6646081B2 JP 2018013090 A JP2018013090 A JP 2018013090A JP 2018013090 A JP2018013090 A JP 2018013090A JP 6646081 B2 JP6646081 B2 JP 6646081B2
Authority
JP
Japan
Prior art keywords
signal
windows
axis acceleration
peak
acceleration signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018013090A
Other languages
English (en)
Other versions
JP2018198921A (ja
Inventor
シャリニ ムコパディアイ
シャリニ ムコパディアイ
ナシムディン アハメド
ナシムディン アハメド
アヴィク ゴセ
アヴィク ゴセ
アリジト シンハライ
アリジト シンハライ
ディビャンシュ ジャイスワル
ディビャンシュ ジャイスワル
アリジト チョウデュリイ
アリジト チョウデュリイ
ラム ヴェンパダ
ラム ヴェンパダ
タパス チャクラヴァーティ
タパス チャクラヴァーティ
アーパン パル
アーパン パル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of JP2018198921A publication Critical patent/JP2018198921A/ja
Application granted granted Critical
Publication of JP6646081B2 publication Critical patent/JP6646081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7239Details of waveform analysis using differentiation including higher order derivatives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Description

優先権主張
本特許出願は、2017年5月25日に出願されたインド国特許出願第201721018447号の優先権を主張し、その全体が参照によって本明細書に援用される。
本明細書の実施形態は、概して、心拍数推定に関し、より具体的には、同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号を用いた心拍数推定のためのシステム及び方法に関する。
昨今、ウェアラブルデバイスを用いる心拍数推定方法は、特に、その環境が非常に危険かつ継続的な健康管理を必要とするクレーン作業者又は鉄鋼プラントにおいて非常に重要なものである。一般に、ウェアラブルデバイスを通じて取得される光電式容積脈波記録法(PPG)信号からの心拍数の推定は、PPG信号でのモーションの効果により誤差を生じやすい。また、測定の精度は、ノイズを導入し、PPG信号を歪ませるクレーン振動及び作業者の手の動きによって影響される。既存の心拍数推定技術は、より多くのリソースを必要とし、低コストでリアルタイムなウェアラブルデバイスにあまり適していない。また、既存の技術は、高いレベルの演算を含み、故に、大きなメモリスペース及び複雑なハードウェアが要求される。
以下は、実施形態の基本的な理解を提供するために、本開示の一部の実施形態の簡素化された概要を提示する。この概要は、実施形態の広範な概要ではない。実施形態のキーとなる/重要な要素を識別する又は実施形態の範囲を詳述することは意図されない。その唯一の目的は、以下に提示されるより詳細な説明への前置きとして簡素化された形態で一部の実施形態を提示することである。
前述したことを考慮すると、本明細書の実施形態は、心拍数推定のための方法及びシステムを提供する。一態様では、プロセッサ実装方法は、(a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号をウェアラブルデバイスのユーザと関連付けられたセンサから受信するステップと、(b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分するステップと、(c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定するステップと、(d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行うステップであって、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含む、ステップと、(e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定するステップと、(f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定するステップと、(g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定するステップと、を含む方法。
別の態様では、心拍数推定のためのシステムが提供される。前記システムは、ユーザと関連付けられるウェアラブルデバイスを備え、前記ウェアラブルデバイスは、複数のセンサと、1以上のメモリと、前記1以上のメモリと結合される1以上のハードウェアプロセッサと、を備え、前記1以上のハードウェアプロセッサは、(a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号を前記複数のセンサから受信し、(b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分し、(c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定し、(d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行い、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含み、(e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定し、(f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定し、(g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定する、1以上のメモリに記憶されたプログラム化された命令を実行することが可能である。
更に別の態様では、非一時的コンピュータ可読媒体で具体化される、心拍数推定のための方法を実行するためのコンピュータプログラムを有する非一時的コンピュータ可読媒体。前記方法は、(a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号をウェアラブルデバイスのユーザと関連付けられるセンサから受信するステップと、(b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分するステップと、(c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定するステップと、(d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行い、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含むステップと、(e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定するステップと、(f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定するステップと、(g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定するステップと、を備える。
本明細書のブロック図は、本発明の概念を具体化する例示的なシステムの概念的視点を提示することが当業者によって理解されるべきである。同様に、フローチャート、フロー図、状態遷移図、擬似コード及び同様のものは、コンピュータ可読媒体に実質的に提示され、そのため、このようなコンピューティングデバイス又はプロセッサが明示的に示されるかどうかにかかわらず、コンピューティングデバイス又はプロセッサによって実行される様々な処理を提示することが理解される。
詳細な説明は、添付の図面を参照して説明される。図面では、最も左の参照番号の最上位桁は、参照番号が最初に現われる図を特定する。図面を通じて同様の特徴及びモジュールを指すために同じ参照番号が用いられる。
図1は、一例の実施形態に係る、心拍数推定のためのシステムのブロック図を示す。 図2Aは、一例の実施形態に係る、心拍数推定のための方法のフロー図を示す。 図2Bは、一例の実施形態に係る、心拍数推定のための方法のフロー図を示す。 図3は、一例の実施形態に係る、決定木を示す。
本明細書のブロック図は、本発明の概念を具体化する例示的なシステムの概念的視点を提示することが当業者によって理解されるべきである。同様に、フローチャート、フロー図、状態遷移図、擬似コード及び同様のものは、コンピュータ可読媒体に実質的に提示され、そのため、このようなコンピューティングデバイス又はプロセッサが明示的に示されるかどうかにかかわらず、コンピューティングデバイス又はプロセッサによって実行される様々な処理を提示することが理解される。
本明細書の実施形態及びその様々な特徴及び有利な詳細は、添付の図面に示され、かつ以下の詳細な説明で説明される非限定的な実施形態を参照してより完全に説明される。本明細書で用いられる実施例は、単に、本明細書の実施形態が実施され、更に本明細書の実施形態を当業者に実施可能にする手法の理解を容易にするためのものである。したがって、実施例は、本明細書の実施形態の範囲を限定するものとして解釈されるべきではない。
本明細書での本発明は、例示的な実施形態に係る、ウェアラブルデバイスを用いた心拍数推定のためのシステム及び方法を提供する。本発明は、光電式容積脈波記録法(photoplethysmograph(PPG))信号から心拍数を推定する間に、モーションアーティファクトを排除する技術を提案する。初めに、特定の時点でウェアラブルデバイスから2つの信号、つまり、PPG及び3軸加速度を取る。PPG信号は、前処理され、加速度信号は、モビリティ用にテストされる。例えば、モビリティテストは、標準偏差によって算出された閾値及び決定木を用いてなされる。更に、信号のパワースペクトラムは、フーリエ変換(FFT)によって取得される。初期心拍数値は、PPGスペクトラムの最も高いピークから推定される。その後、加速度スペクトラムは、推定された心拍ピーク近傍の大きなピークに対してチェックされる。加速度ピークが大きいかの決定は、ランダムフォレスト学習での2つのピークを用いて取られる。このような加速度ピークが見い出されない場合、心拍数は推定され、後処理のために送信される。そうでない場合、第2の最も高いPPGピークは取得され、心拍数は、このピークから推定され、後処理のために送信される。後処理では、ウィンドウから取得された心拍数は、サーバにおいて取得され、最終的な心拍数は、最も頻繁に生じるビンのメジアン値が最終的な心拍数として選択されるヒストグラムを利用して推定される。
本方法及びシステムは、本明細書に記載される特定の実施形態に限定されない。また、方法及びシステムは、本明細書に記載される他のモジュール及び方法とは独立して、別々に実施されうる。各デバイス要素/モジュール及び方法は、他の要素/モジュール及び他の方法と組み合わせて用いられうる。
心拍数推定のためのシステム及び方法の態様は、図1から3について詳細に説明されている。心拍数推定のための方法及びシステムの態様がいくつもの異なるシステム、ユーティリティ環境及び/又は構成で実装されうるが、実施形態は、以下の例示的なシステムの文脈で説明される。
図1は、例示的な実施形態に係る、心拍数推定のためのシステム100のブロック図を示す。例示的な実施形態では、システム100は、ウェアラブルデバイス102と、ゲートウェイデバイス104と、サーバ106と、を含む。例えば、ウェアラブルデバイス102及びサーバ106は、ゲートウェイデバイス104を介して互いに通信可能に結合される。図1に示されるように、ウェアラブルデバイス102は、プロセッサ108等のような1以上のプロセッサと、メモリ110等のような1以上のメモリと、センサ112(つまり、PPGセンサ及び3軸加速度センサ)と、通信モジュール114と、を含む又は接続される。実施形態では、プロセッサ108、メモリ110、センサ112及び通信モジュール114(例えば、ブルートゥース(登録商標)等)は、システムバス等のようなシステム又は同様の機構によって結合されてもよい。ウェアラブルデバイス102は、通信モジュール114を介してゲートウェイデバイス104に通信可能に結合される。更に、サーバ106は、プロセッサ116等のような1以上のハードウェアプロセッサ及びメモリ118等のような1以上のメモリを含む又は接続される。図1は、システム100の例示的な構成要素を示すが、他の実装では、システム100は、いくつかの構成要素、追加構成要素、異なる構成要素又は図1に図示されたものとは異なって配置された構成要素を含んでもよい。
プロセッサ108又は116は、とりわけ、通信を関連付けられるオーディオ及びロジック機能を実装する回路を含んでもよい。例えば、プロセッサ108又は116は、マイクロコントローラ、1以上のデジタル信号プロセッサ(DSP)、1以上のマイクロプロセッサ、1以上の専用コンピュータチップ、1以上のフィールドプログラマブルアレイ(FPGA)、1以上の特定用途向け集積回路(ASIC)、1以上のコンピュータ、各種アナログ‐デジタルコンバータ、デジタル‐アナログコンバータ、及び/又は他の支援回路を含んでもよいが、これに限定されない。プロセッサ108又は116は、よって、メッセージ及び/又はデータ又は情報をエンコードするための機能を含んでもよい。プロセッサ108又は116は、とりわけ、プロセッサ108の動作を支援するように構成されるクロック、演算論理ユニット(arithmetic logic unit (ALU))及びロジックゲートを含んでもよい。更に、プロセッサ108又は116は、1以上のソフトウェアプログラムを実行するための機能を含んでもよく、これは、メモリ110又は118にそれぞれ格納される、又はプロセッサ108又は106にそれぞれアクセス可能であってもよい。
「プロセッサ」としてラベル付けされた機能ブロックを含む図面に示された各種要素の機能は、専用ハードウェアを適切なソフトウェアと関連付けられたソフトウェアを実行することが可能なハードウェアと共に使用することにより提供されてもよい。プロセッサによって提供されるとき、前記機能は、単一の専用プロセッサ、単一の共有プロセッサ又はそのいくつかが共有されてもよい複数の個別プロセッサによって提供されてもよい。また、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することのできるハードウェアを網羅的に指すものと解釈されるべきではなく、暗示的には、限定されることなく、DSPハードウェア、ネットワークプロセッサ、特定用途向け集積回路(ASIC)、FPGA、ソフトウェアを記憶するための読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性記憶装置を含んでもよい。従来及び/又は特注の、その他のハードウェアを含んでもよい。
メモリ110又は118等の1以上のメモリは、システムの機能を実現するためにシステムによって使用される、任意の数の情報、及びデータを記憶してもよい。メモリ110又は118は、例えば、揮発性メモリ及び/又は不揮発性メモリを含んでもよい。揮発性メモリの例は、それに限定されないが、揮発性ランダムアクセスメモリを含んでもよい。不揮発性メモリは、追加的又は代替的に、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、ハードドライブ又は同様のものを含んでもよい。揮発性メモリのいくつかの例は、それに限定はされないが、ランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、スタティックランダムアクセスメモリ又は同様のものを含む。不揮発性メモリのいくつかの例は、それに限定はされないが、ハードディスク、磁気テープ、光学ディスク、プログラマブル読取り専用メモリ、消去可能プログラマブル読取り専用メモリ、電気的消去可能プログラマブル読取り専用メモリ、フラッシュメモリ又は同様のものを含む。メモリ110又は118は、ウェアラブルデバイス102又は106が、様々な例示的実施態様に係る様々な機能を実行することを可能にするための、情報、データ、アプリケーション、命令又は同様のものを格納するように構成してもよい。追加的又は代替的に、メモリ110又は118は、プロセッサ108又は116によって実行されると、様々な実施態様において記述されたようにウェアラブルデバイス102又はサーバ106を挙動させる、命令を格納するように構成してもよい。メモリ104は、心拍数推定モジュール120及び/又はその他のモジュールを含む。モジュール120及びその他のモジュールは、特定のタスクを実行するか、又は特定の抽象データタイプを実現する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。その他のモジュールは、システム100のアプリケーション及び機能を補う、プログラム又はコード化された命令を含んでもよい。メモリ118は、ポストプロセッシングモジュール122及び他のモジュールを含む。モジュール122及びその他のモジュールは、特定のタスクを実行するか、又は特定の抽象データタイプを実現する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。その他のモジュールは、サーバ106のアプリケーション及び機能を補うプログラム又はコード化された命令を含んでもよい。
動作において、センサ112は、プロセッサ108及びメモリ110の助けにより心拍数推定のために処理される、デバイス102を身につけたユーザからの入力信号(つまり、同一時点で取得されるPPG信号及び3軸加速度信号)を受信し、各ウィンドウについて算出された心拍数値は、通信モジュール(ブルートゥース(登録商標))114を通じてゲートウェイデバイス104へ送信される。データストリーミングが非常にエネルギーを消費するので、ブルートゥースは、生のPPG信号及び加速度データをストリーミングすることに代えて、サーバ106へ算出された心拍数値を伝送するために用いられる。ゲートウェイデバイス104は、後処理部分が行うサーバ106へネットワークを通じてデータを送信する。
例示的な実装では、センサは、デバイス102を身に着けたユーザから入力信号を受信する。ウェアラブルデバイスから取得される生のPPG信号及び3軸加速度信号は、入力信号である。PPG信号及び3軸加速度信号は、同期されるべきであり、固定サンプリングレート(つまり、Fs)を有する。更に、心拍数推定モジュール120は、信号を取得し、当該信号を複数のウィンドウに分割する。実施形態では、心拍数推定モジュール120は、PPG及び3軸加速度の信号を、更なる処理及び分析のために(ある固定期間の)小さなウィンドウに分割する。
更に、心拍数推定モジュール120は、信号を前処理する。前処理中に、心拍数推定モジュール120は、信号品質検証のためのPPG閾値チェックを行い、実際の形状を抜き出すためにゼロ位相フィルタリングすることを含む。一例では、チェックは、ウェアラブルデバイス102(この場合、腕時計型)が、生の信号についての閾値の助けにより手首に装着され、故に、ノイズ信号が排除される。更に、前処理中に、心拍数推定モジュール120は、信号から、直流(DC)成分を除去するために信号平均を引く。
また、心拍数推定モジュール120は、3軸加速度信号の1つにおいてモビリティチェックを行う。このチェックは、主に、このウィンドウにモーションが存在するかを探すために行われる。心拍数推定モジュール120は、生の時間信号振幅の標準偏差を用いて算出された生の信号の閾値の助けによりモビリティチェックを行い、その後、決定木を適用する。一例の実装では、心拍数推定モジュール120は、3軸加速度信号の特定の時間ウィンドウにおいてモーションを決定するために、統計的特徴及び決定木ベースの技術を組み込んだ適度だが強固なアルゴリズムを実行する。一般的に、決定木は、分類及び予測用の強力かつ一般的なツールである。決定木は、予測を実現するためにトップダウンで構築される、異なる規則を提供し、条件が決定木のノードに応じて採用される場合、容易に、様々に、実装されうる。
実施形態では、モーションの間、3軸加速度センサの合成値は、静的モードと比較して非常に増加する。この変動は、合成加速度計の時間ウィンドウの平均及び標準偏差の形態で取り込まれる。時間ウィンドウは、10秒と定義される。心拍数推定モジュール120は、以下の式によって合成値を算出する。
ResVal=√(x+y+z
更に、各時間ウィンドウについて、心拍数推定モジュール120は、複数の合成値を集め、その合成値の平均及び標準偏差(STD)を算出する。更に、心拍数推定モジュール120は、オフライントレーニングを可能にし、モビリティを決定するためにモデル決定木を配置する。トレーニングモードでは、グラウンドトゥルース観察は、ユーザ介入により取り込まれる。ある環境(例えば、クレーン環境)をシミュレートするために、被験者は、規定時間にいくつかの特定の動きを行うように指示され、偶発的に、ユーザは、実際のクレーン作業者をエミュレートし、実験を行う。オブザーバーは、進め方全体を統制し、その一方で、指示を提供し、静的又はモーションとしてイベントに注釈を付ける。各時間ウィンドウについて、3軸加速度計信号の合成値の平均及び標準偏差は、特徴として示され、モビリティフラグは、分類を表現する。特定のトレーニングウィンドウの1つの典型的な表現は、以下:
mean_window1,std_window1:S
mean_window2,std_window2:M
ここで、Sは、静的モードを示し、Mは、モーションを示し、mean_window, std_windowは、それぞれ平均及び標準偏差を示す。
また、心拍数推定モジュール120は、ウィンドウについてのモーションの信頼できる推定のための決定木(if else ラダー)を生成するトレーニング用の多数のこのようなウィンドウを供給する。一例の決定木規則300は、図3に示される。決定木は、if−else ラダーとしてウェアラブルデバイス102に実装される。テスト段階では、平均及び標準偏差が算出され、モビリティの決定のための決定木へ暗示される。モーションが存在する場合、心拍数推定モジュール120は、モーション除去アルゴリズムを実行し、そうでなければ、(曖昧なPPGピークを有するウィンドウを破棄するために)ピーク閾値チェックがなされ、心拍数は、高速フーリエ変換(fast Fourier transform(FFT))法により直接的にこのウィンドウについて推定される。よって、電力及びウェアラブルデバイス102内部の処理を節約する。
また、モーションが存在する場合、心拍数推定モジュール120は、Filtfiltを用いてPPG信号及び加速度信号のフィルタリングを行う。フィルタ「filtfilt」は、順方向及び逆方向の両方に入力データを処理することによって、ゼロ位相デジタルフィルタリングを行う。順方向にデータをフィルタリングした後、filtfiltは、フィルタされた順序の逆になり、フィルタを通じて後に戻る。その結果は、以下の特徴を有する−ゼロ位相歪み、フィルタ伝達関数、これは、元のフィルタ伝達関数の二乗振幅及び分子係数及び分母係数によって特定されるフィルタのオーダーの2倍であるフィルタオーダーと等しい。これは、FFTピークが必要であり、かつ位相情報が必要でない心拍数推定モジュールに適用可能である。心拍数推定モジュール120は、0.75Hz(心拍数45BPM)の低カットオフ周波数及び3Hz(心拍数180BPM)の高カットオフ周波数を有する前処理された信号をフィルタし、心拍数値の広い範囲に及ぶ正確な測定を確実にする。
また、心拍数推定モジュール120は、前処理された信号でフーリエ変換(FFT)を行い、PPG及び加速度信号のパワースペクトラムを取得する。心拍数推定モジュール120は、その後、PPG及び加速度信号のパワースペクトラムを分析し、推定された心拍ピークが真であるか又はモーションの効果によるものかをチェックする。これを行うために、PPG信号の最も高いFFTピークが取られ、当該ピークの周囲の範囲(つまり、+−t Hz)は、当該範囲において大きな加速度FFTピークの存在についてチェックされる。存在する場合、第1の最も高いPPGピークのパワーと近傍の加速度ピークのパワーとの比のような2ピーク特徴、及び第2の最も高いPPGピークのパワーの逆数が取られ、ランダムフォレスト学習法を用いて、加速度ピークが第1のPPGピークに影響を与えるか否かを決定する。
PPGベースの心拍数推定からのモーションアーティファクトを排除する処理では、モーションが特定のウィンドウ中に存在する場合、心拍数推定モジュール120は、最も高いピークについてPPGスペクトラムを分析する。最も高いPPGピークを取得した後、心拍数推定モジュール120は、大きな加速度ピーク(cfar条件を満たす、例えば、近傍ピークの平均を50%超える)がPPGピークと位置合わせされる(同一周波数範囲にある)か否かをチェックする。このような加速度ピークが見い出された場合、第2の最も高いピークは、選択される。多くの場合では、小さいがそれでも大きい加速度ピークが第1のPPGピークに位置合わせされて提示されるが、PPGピークが非常に強く、非常に小さい加速度ピークが存在する場合、真の心拍ピークは、第1のPPGピーク自体であるが、非常に頻繁に、加速度ピークがcfar条件を満たすとき、第1のPPGピークは破棄され、第2のピークは、真の心拍ピークとみなされる。故に、誤差のある心拍数測定をもたらす。この誤差を避けるために、機械学習技術(ランダムフォレスト)は、2つのPPGピーク及び位置合わせされた加速度ピークのパワー値に基づいて、2つのPPGピーク外の正しいピークを選択するための方法を定義するために用いられる。第1のピークパワーが、加速度ピークパワーと比べて非常に高く、かつ第2のピークが非常に弱い場合、心拍数推定のために、第1のピークが真のピークとして選択され、そうでなければ、第2のピークが選択される。
一般的に、ランダムフォレスト又はランダム決定木は、トレーニング時に多数の決定木を構築し、個々の木のクラス(分類)又は平均予測(回帰)のモードであるクラスを出力することによって動作する分類、回帰及び他のタスクのためのアンサンブル学習法である。ランダム決定フォレストは、それらのトレーニングセットへ過剰適合する決定木の傾向について修正する。与えられた状況では、ランダムフォレスト学習は、PPGピーク(第1の最も高いピーク又は第2の最も高いピーク)が、心拍数に対応し、モーションの存在において心拍数の算出のために選択されることを予測するために用いられる。本質的に、ランダムフォレストアルゴリズムは、様々な決定木を統合し、個々の木によって予測される分類のモードである分類を予測する。これを行うために、PPGの様々なピークが評価され、その結果、2つの特徴が取られ、右のピークが分類として注釈を付けられる。2つの特徴は、以下のようになる:
1.最も高いPPGピークパワーと、最も高いPPGピークに位置合わせされる加速度ピークのパワーとの比。
2.第2の最も高いPPGピークのパワーの逆数。
分類(真のピーク):
分類−1:第1のPPGピーク
分類−2:第2のPPGピーク。
また、心拍数推定モジュール120は、収集された総データの80%を有するランダムフォレストモデルを訓練するために上述された特徴を使用する。残りの20%は、テスト用に用いられる。このモデル生成は、オフラインで行われ、生成されたモデルは、テストデータのリアルタイム分類に用いられる。トレーニング段階が行われ、モデルが生成された後、特徴値に応じて、テストデータセットを分類するために用いられ、第1又は第2のPPGピークのいずれかが、心拍数推定のために選択される。
心拍数推定が影響を与えないことがわかった場合、心拍数推定モジュール120は、モーションがないときの処理と同様の心拍数推定のためのPPG信号の第1の最も高いピークを考慮する。心拍数推定が影響を与えることがわかった場合、心拍数推定モジュール120は、PPG FFTスペクトラムから第2の最も高いピークを識別し、ピークの周波数を用いて心拍数を推定する。一部の実施形態では、第2の最も高いPPGピークは、近傍の大きな加速度ピークの存在のためにチェックされ、このようなピークが見い出された場合、ウィンドウは、曖昧とみなされ、破棄される。
一般的に、PPG信号を用いることは、末梢部位で血管に流れる血液の量を測定するために、ロバストで非侵襲的な光学的方法である。PPGセンサは、本質的に、肌を照射する発光ダイオード(LED)からなり、フォトダイオードは、組織を通じて透過又は反射される光の量を測定する。フォトダイオードによって取り込まれる光強度の変化は、心律動と直接的に関連付けられる。各心周期は、PPG信号においてピークとして現れる。よって、PPG信号は、DC信号と共にAC成分をゆっくりと変化させることを含む。ACは、心拍数信号を表し、信号及び周期性は、心拍数を表す。よって、心拍数は、フィルタされたPPG信号の主周波数成分を取得することによって推定される。これは、フーリエ変換を行い、パワースペクトラムから最も高いピークの周波数を取得することによってなされる。この周波数(つまり、fmax)は、HR(BPM)=fmax*60によって、1分当りの心拍数(beats per minute)に変換される。
更に、例示的な実装では、ウェアラブルデバイス102は、全てのウィンドウで推定された心拍数を、ゲートウェイデバイス104を介してサーバ106へ転送する。ここで、ウィンドウの心拍数値(つまり、2分間のデータに対して)は、後処理のためにサーバ106へ送信される。実施形態では、後処理モジュール122は、モーションがないウィンドウについての心拍数値に重み2を付与し、モーションがあるウィンドウについての心拍数値に重み1を付与する固定ビンサイズを有するヒストグラムを形成する。故に、後処理モジュール122は、最も生じるビンを選択し、そのメジアン値を最終的な心拍数とみなす。よって、ユーザの心拍数のより良い推定を得て、サーバ106において更なる分析のために用いられうる。
図2A及び2Bは、例示的な実施形態によれば、心拍数推定のための方法200A及び200Bのフロー図を示す。プロセッサ実装方法200は、コンピュータ実行可能命令の一般的な文脈で記述されてもよい。一般的に、コンピュータ実行可能命令は、特定の機能を実行する又は特定のアブストラクトデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、機能等を含みうる。方法200は、また、機能が通信ネットワークを通じてリンクされるリモートプロセッシングデバイスによって行われる分散型コンピューティング環境で実施されてもよい。方法200が説明される順序は、限定的に解釈されることは意図されず、説明される複数の方法ブロックは、方法200又は別の方法を実装するために任意の順序で組み合わされうる。更に、方法200は、適切なハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実装されうる。実施形態では、フローチャートに示される方法200は、例えば、図1のシステム100等のようなシステムによって実行されてもよい。
ブロック202において、同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号は、ウェアラブルデバイスのユーザと関連付けられるセンサから受信される。例えば、PPG信号及び3軸加速度信号は、同一時点で取得される。ブロック204において、受信されたPPG信号及び3軸加速度信号は、複数のウィンドウに区分される。一部の実施形態では、PPG信号の複数のウィンドウの各々からのノイズは、PPG信号についての閾値に基づいて排除される。更に、直流(DC)成分は、ノイズが排除されると、PPG信号の複数のウィンドウの各々から除去される。
ブロック206において、複数のウィンドウのうちの1つにおいて3軸加速度信号の平均及び標準偏差値に基づいて3軸加速度信号の複数のウィンドウのうちの1つにモーションが存在するかを判定するためにチェックがなされる。例えば、複数のウィンドウのうちの1つにおいて3軸加速度信号の平均及び標準偏差によって算出される閾値並びに決定木に基づいて、3軸加速度信号の複数のウィンドウのうちの1つにモーションが存在するかを判定するためにチェックがなされる。
ブロック208において、フーリエ変換は、3軸加速度信号の複数のウィンドウのうちの1つにモーションが存在しないとき、複数のウィンドウのうちの1つにおいて3軸加速度信号及びPPG信号のパワースペクトラムを取得するために、3軸加速度信号及びPPG信号で行われ、パワースペクトラムは、複数のウィンドウのうちの1つにおける3軸加速度信号及びPPG信号の高速フーリエ変換(FFT)ピークを含む。ブロック210において、3軸加速度信号のピークが、PPG信号の第1の最も高いピークの周囲の範囲に存在するかを判定するためにチェックがなされる。ブロック212において、3軸加速度信号のピークが、PPG信号の第1の最も高いピークの周囲の範囲にあるとき、ランダムフォレスト学習によって、3軸加速度信号のピークがユーザの心拍数に影響を与えるかを判定するためにチェックがなされる。例えば、ランダムフォレスト学習は、PPG信号の第1の最も高いピーク、PPG信号の第2の最も高いピーク、及び3軸加速度信号のピークのパワー値に基づいて行われる。
ブロック214において、複数のウィンドウのうちの1つにおいてユーザの心拍数は、3軸加速度信号のピークがユーザの心拍数に影響を与えるとき、PPG信号の第2の最も高いピークを用いて推定される。ブロック216において、複数のウィンドウのうちの1つにおいてユーザの心拍数は、3軸加速度信号のピークがPPG信号の最も高いピークの周囲の範囲に存在せず、3軸加速度信号のピークがユーザの心拍数に影響を与えないとき、PPG信号の識別された第1の最も高いピークを用いて推定される。
ブロック218において、複数のウィンドウのうちの1つにおいてPPG信号のゼロ位相フィルタリングは、ブロック206において、3軸加速度信号の複数のウィンドウのうちの1つにモーションが存在しないときに、行われる。ブロック220において、フーリエ変換は、複数のウィンドウのうちの1つにおけるPPG信号のパワースペクトラムを取得するために、フィルタされたPPG信号で行われ、パワースペクトラムは、複数のウィンドウのうちの1つにおけるPPG信号のFFTピークを含む。ブロック222において、ウィンドウがノイジーであるかを判定するために、ピークの曖昧さチェックが行われる。そうである場合、ウェアラブルデバイスから他の入力信号を受信する。そうでない場合、ブロック224において、複数のウィンドウのうちの1つにおけるユーザの心拍数は、PPG信号の最も高いFFTピークを用いて推定される。更に、ユーザの心拍数は、上記のステップの少なくとも1つを繰り返すことによって、残りのウィンドウにおいて推定される。
一部の実施形態では、予め定義されたビンサイズを有するヒストグラムは、複数のウィンドウにおけるユーザの心拍数に対して形成される。更に、ヒストグラムにおける最多出現のビンが選択される。更に、選択されたビンのメジアン値は、ユーザの心拍数とみなされる。
図1−3に記載された各種実施形態は、クレーン振動及び手の動きによるモーションの効果に基づく心拍数推定のための技術を提案する。当該技術は、最小限の低コストで軽く、実装されることが容易なハードウェアを用いて心拍数をリアルタイムで推定する。この技術では、クレーン作業者がデバイスを身に着けている間のモーションの程度を決定するために、モビリティチェックが展開される。決定の結果、異なるアルゴリズムがユーザの心拍数を推定するために暗示される。静的モード中には、従来の周波数ベースのアルゴリズムが選択されるが、モーションでは、より複雑なアプローチが心拍数推定に含まれる。この二方向アプローチは、柔軟性を提供し、デバイスがモーションにない間に演算の複雑さを回避する。よって、処理、ウェアラブルデバイスにおける低信号サンプリングレート(50Hz)及び低電力消費によるメモリスペースの低減を助ける。更に、当該技術は、リアルタイムでウェアラブルデバイスに実装されやすく、特に複雑なハードウェアを搭載することが困難な環境での低コストで軽いウェアラブルデバイスを用いることを助ける。
本書面による説明は、当業者が実施態様を製作して使用することを可能にするために、本明細書における主題を説明している。主題実施態様の範囲は、特許請求の範囲によって定義され、当業者が思いつくその他の修正形態を含めてもよい。そのような他の修正は、それらが特許請求の範囲の文言と異ならない類似の要素を有する場合、又はそれらが、特許請求の範囲の文言と実質的に差のない、等価な要素を含む場合には、特許請求の範囲に記載の範囲に含めることを意図するものである。
しかしながら、保護の範囲は、そのようなプログラムまで、その中にメッセージを有するコンピュータ可読手段に加えて、拡張され、そのような非一時的コンピュータ可読記憶手段は、サーバ又はモバイルデバイス又は任意好適なプログラマブルデバイス上でプログラムが実行されるときに、方法の1つ又は2つ以上のステップを実現するためのプログラムコード手段を包含することを理解すべきである。ハードウェアデバイスは、例えば、サーバ又はパーソナルコンピュータのような任意の種類のコンピュータ、その他、又はそれらの任意の組合せを含む、プログラムすることのできる、任意の種類のデバイスとすることができる。このデバイスには、また、例えばハードウェア手段、例えば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又はハードウェア手段とソフトウェア手段の組合せ、例えば、ASIC及びFPGA、又は少なくとも1つのマイクロプロセッサと、その中にあるソフトウェアモジュールを備える、少なくとも1つのメモリとすることもできる、手段を含んでもよい。よって、当該手段は、ハードウェア手段とソフトウェア手段の両方を含むことが可能である。本明細書に記載の方法実施態様は、ハードウェア及びソフトウェアにおいて実現することもできる。デバイスはまた、ソフトウェア手段を含んでもよい。代替的に、実施態様は、例えば、複数のCPUを使用して、異なるハードウェアデバイス上で実現してもよい。
本明細書における実施態様は、ハードウェア要素及びソフトウェア要素を含むことができる。ソフトウェアとして実現されている実施態様としては、それには限定されないが、ファームウェア、レジデントソフトウェア、マイクロコード、その他が含まれる。本明細書に記載された様々なモジュールによって実行される機能は、その他のモジュールにおいて、又はその他のモジュールの組合せにおいて実現してもよい。この説明の目的で、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって、又はそれらと関連して使用するためのプログラムを備える、記憶する、通信する、伝える、又は移送することのできる、任意の装置とすることができる。
特定の実現形態及び実施態様についての前述の説明により、本明細書における実現形態及び実施態様の全体的性質が完全に明らかになるため、現在の知識を適用することによって、汎用概念から逸脱することなく、他者はそのような特定の実施態様を容易に修正し、及び/又は様々な応用に適合させることが可能であり、したがって、そのような適合形態及び修正形態は、開示された実施態様の等価物の意味と範囲に含まれるものと理解されるべきであり、またそのように意図されている。本明細書において用いられる語句又は用語は、説明のためのものであり、限定のためのものではないことを理解すべきである。したがって、本明細書における実施態様は、好ましい実施態様について記述したが、当業者は、本明細書における実施態様は、本明細書に記載された実施態様の趣旨と範囲内で修正して実施することができることを認識するであろう。
前述の説明は、様々な実施態様を参照して提示された。この出願が関係する当業者は、記載の構造及び動作の方法における改変及び変更は、原理、趣旨及び範囲から意味のある逸脱をすることなく、実施することができることを理解するであろう。

Claims (18)

  1. プロセッサ実装方法であって、
    (a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号をウェアラブルデバイスのユーザと関連付けられたセンサから受信するステップと、
    (b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分するステップと、
    (c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値によって計算される閾値及び決定木に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定するステップと、
    (d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行うステップであって、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含む、ステップと、
    (e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定するステップと、
    (f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定するステップと、
    (g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定するステップと、
    を備える方法。
  2. (h)前記3軸加速度信号のピークが、前記PPG信号の前記第1の最も高いピークの周囲の範囲に存在しない、及び前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えない、の少なくとも一方であるとき、前記PPG信号の前記第1の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの心拍数を推定するステップを更に備える請求項1に記載の方法。
  3. (i)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションがないとき、前記複数のウィンドウのうちの1つにおいて前記PPG信号のゼロ位相デジタルフィルタリングを行うステップと、
    (j)前記複数のウィンドウのうちの1つにおいて前記PPG信号の前記パワースペクトラムを取得するために、フィルタリングされた前記PPG信号のフーリエ変換を行うステップであって、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記PPG信号のFFTピークを含む、ステップと、
    (k)前記PPG信号の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの心拍数を推定するステップと、
    を更に備える請求項1に記載の方法。
  4. 前記ステップ(c)から(k)のうちの少なくとも1つを繰り返すことによって、残りのウィンドウにおける前記ユーザの心拍数を推定するステップを更に備える請求項3に記載の方法。
  5. 前記複数のウィンドウにおける前記ユーザの心拍数について予め定義されたビンサイズを有するヒストグラムを形成するステップと、
    前記ヒストグラムにおける最多出現のビンを選択するステップと、
    前記ユーザの心拍数として、選択されたビンのメジアン値を考慮するステップと、
    を更に備える請求項4に記載の方法。
  6. 前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のフーリエ変換を行うステップは、
    前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のゼロ位相デジタルフィルタリングを行うステップと、
    前記複数のウィンドウのうちの1つにおいて、フィルタリングされた前記3軸加速度信号及び前記PPG信号のフーリエ変換を行うステップと、
    を備える請求項1に記載の方法。
  7. 前記PPG信号についての閾値に基づいて前記PPG信号の複数のウィンドウの各々からノイズを排除するステップと、
    前記ノイズを排除すると、前記PPG信号の複数のウィンドウの各々から直流成分を除去するステップと、
    を更に備える請求項1に記載の方法。
  8. 前記ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定するステップは、
    前記PPG信号の前記第1の最も高いピーク、前記PPG信号の前記第2の最も高いピーク、及び前記3軸加速度信号のピークのパワー値に基づいて、前記ランダムフォレスト学習を実行することを含む、
    請求項1に記載の方法。
  9. システムであって、
    ユーザと関連付けられるウェアラブルデバイス(102)を備え、前記ウェアラブルデバイスは、
    複数のセンサ(112)と、
    1以上のメモリ(110)と、
    前記1以上のメモリと結合される1以上のハードウェアプロセッサ(108)と、を備え、
    前記1以上のハードウェアプロセッサは、
    (a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号を前記複数のセンサから受信し、
    (b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分し、
    (c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値によって計算される閾値及び決定木に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定し、
    (d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行い、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含み、
    (e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定し、
    (f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定し、
    (g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定する、
    前記1以上のメモリに記憶されたプログラム化された命令を実行するように構成される、システム。
  10. 前記1以上のハードウェアプロセッサは、
    (h)前記3軸加速度信号のピークが、前記PPG信号の前記第1の最も高いピークの周囲の範囲に存在しない、及び前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えない、の少なくとも一方であるとき、前記PPG信号の前記第1の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの心拍数を推定する、プログラム化された命令を実行するように更に構成される、請求項に記載のシステム。
  11. 前記1以上のハードウェアプロセッサは、
    (i)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションがないとき、前記複数のウィンドウのうちの1つにおいて前記PPG信号のゼロ位相デジタルフィルタリングを行い、
    (j)前記複数のウィンドウのうちの1つにおいて前記PPG信号の前記パワースペクトラムを取得するために、フィルタリングされた前記PPG信号のフーリエ変換を行い、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記PPG信号のFFTピークを含み、
    (k)前記PPG信号の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの心拍数を推定する、
    プログラム化された命令を実行するように更に構成される、請求項に記載のシステム。
  12. 前記1以上のハードウェアプロセッサは、前記(c)から(k)のうちの少なくとも1つを繰り返すことによって、残りのウィンドウにおける前記ユーザの心拍数を推定する、プログラム化された命令を実行するように更に構成される、請求項11に記載のシステム。
  13. 前記ウェアラブルデバイス(102)に通信可能に結合されるサーバ(106)を更に備え、前記サーバは、
    1以上のメモリ(118)と、
    前記1以上のメモリ(118)と結合される1以上のハードウェアプロセッサ(116)と、を備え、前記1以上のハードウェアプロセッサは、
    前記複数のウィンドウにおける前記ユーザの心拍数について予め定義されたビンサイズを有するヒストグラムを形成し、
    前記ヒストグラムにおける最高数の出現のビンを選択し、
    前記ユーザの心拍数として、選択されたビンのメジアン値を考慮する、前記1以上のメモリにおいてプログラム化された命令を実行するように構成される、請求項12に記載のシステム。
  14. 前記1以上のハードウェアプロセッサは、
    前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のゼロ位相デジタルフィルタリングを行い、
    前記複数のウィンドウのうちの1つにおいて、フィルタリングされた前記3軸加速度信号及び前記PPG信号のフーリエ変換を行う、
    プログラム化された命令を実行するように構成される、請求項に記載のシステム。
  15. 前記1以上のハードウェアプロセッサは、
    前記PPG信号についての閾値に基づいて前記PPG信号の複数のウィンドウの各々からノイズを排除し、
    前記ノイズを排除すると、前記PPG信号の複数のウィンドウの各々から直流成分を除去する、プログラム化された命令を実行するように更に構成される、請求項に記載のシステム。
  16. 前記1以上のハードウェアプロセッサは、前記PPG信号の前記第1の最も高いピーク、前記PPG信号の前記第2の最も高いピーク、及び前記3軸加速度信号のピークのパワー値に基づいて、前記ランダムフォレスト学習を実行する、プログラム化された命令を実行するように構成される、請求項に記載のシステム。
  17. 1以上の非一時的機械可読情報記憶媒体であって、1以上のハードウェアプロセッサによって実行されるときに、
    (a)同期された光電式容積脈波記録法(photoplethysmograph(PPG))信号及び3軸加速度信号をウェアラブルデバイスのユーザと関連付けられるセンサから受信すること、
    (b)受信された前記PPG信号及び前記3軸加速度信号を複数のウィンドウに区分すること、
    (c)前記複数のウィンドウのうちの1つにおける前記3軸加速度信号の平均及び標準偏差値によって計算される閾値及び決定木に基づいて、前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するかを判定すること、
    (d)前記3軸加速度信号の前記複数のウィンドウのうちの1つにモーションが存在するとき、前記複数のウィンドウのうちの1つにおいて前記3軸加速度信号及び前記PPG信号のパワースペクトラムを取得するために、前記3軸加速度信号及び前記PPG信号のフーリエ変換を行い、前記パワースペクトラムは、前記複数のウィンドウのうちの1つにおける前記3軸加速度信号及び前記PPG信号の高速フーリエ変換(FFT)ピークを含むこと、
    (e)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークが存在するかを判定すること、
    (f)前記PPG信号の第1の最も高いピークの周囲の範囲に前記3軸加速度信号のピークがあるとき、ランダムフォレスト学習を実行することによって、前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるかを判定すること、
    (g)前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えるとき、前記PPG信号の第2の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの前記心拍数を推定すること、
    を行わせる1以上の命令を含む1以上の非一時的機械可読情報記憶媒体。
  18. 前記1以上の命令は、前記1以上のハードウェアプロセッサによって実行されるときに、
    (h)前記3軸加速度信号のピークが、前記PPG信号の前記第1の最も高いピークの周囲の範囲に存在しない、及び前記3軸加速度信号のピークが前記ユーザの心拍数に影響を与えない、の少なくとも一方であるとき、前記PPG信号の前記第1の最も高いピークを用いて前記複数のウィンドウのうちの1つにおける前記ユーザの心拍数を推定することを更に行わせる、請求項17に記載の1以上の非一時的機械可読情報記憶媒体。
JP2018013090A 2017-05-25 2018-01-29 心拍数推定のためのシステム及び方法 Active JP6646081B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201721018447 2017-05-25
IN201721018447 2017-05-25

Publications (2)

Publication Number Publication Date
JP2018198921A JP2018198921A (ja) 2018-12-20
JP6646081B2 true JP6646081B2 (ja) 2020-02-14

Family

ID=61007461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018013090A Active JP6646081B2 (ja) 2017-05-25 2018-01-29 心拍数推定のためのシステム及び方法

Country Status (5)

Country Link
US (1) US11039792B2 (ja)
EP (1) EP3406189A1 (ja)
JP (1) JP6646081B2 (ja)
CN (1) CN108926333B (ja)
SG (1) SG10201800561VA (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202021528A (zh) * 2018-12-05 2020-06-16 宏碁股份有限公司 基於光電容積描記圖訊號取得心律不整資訊的方法及檢測心律不整的裝置
KR102214686B1 (ko) * 2018-12-27 2021-02-09 원광대학교산학협력단 유한 상태 머신을 기반으로 정확하고 일관된 심박수를 추정하는 방법 및 이를 위한 장치
CN111374657B (zh) * 2018-12-28 2023-08-08 宏碁股份有限公司 基于光电容积描记图信号检测心律不整的方法及装置
CN111474587B (zh) * 2019-01-23 2023-05-30 富士通株式会社 物品检测方法和装置
CN110464326B (zh) 2019-08-19 2022-05-10 上海联影医疗科技股份有限公司 一种扫描参数推荐方法、系统、装置及存储介质
CN110730630B (zh) * 2019-09-10 2022-05-03 深圳市汇顶科技股份有限公司 心率检测方法、装置、芯片、电子装置及存储介质
CN110730453B (zh) * 2019-09-20 2022-03-04 中国科学院深圳先进技术研究院 无线体域网及其密钥生成方法、分配方法和相关装置
US20220008019A1 (en) * 2020-07-08 2022-01-13 Owlet Baby Care Inc. Heart Rate Correction Using External Data
US11904179B2 (en) * 2020-09-30 2024-02-20 University Of Rochester Virtual reality headset and system for delivering an individualized therapy session
TWI747633B (zh) * 2020-11-25 2021-11-21 英業達股份有限公司 訊號品質指數的評估電路
CN112494001B (zh) * 2020-11-25 2023-05-26 青岛歌尔智能传感器有限公司 Ppg信号质量评估方法、装置、穿戴式设备及存储介质
CN113349752B (zh) * 2021-05-08 2022-10-14 电子科技大学 一种基于传感融合的可穿戴设备实时心率监测方法
CN113261932B (zh) * 2021-06-28 2022-03-04 山东大学 基于ppg信号和一维卷积神经网络的心率测量方法及装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4911167A (en) * 1985-06-07 1990-03-27 Nellcor Incorporated Method and apparatus for detecting optical pulses
JP2002028138A (ja) * 2000-07-14 2002-01-29 Seiko Precision Inc 脈拍計および健康監視装置
US6763256B2 (en) * 2002-08-16 2004-07-13 Optical Sensors, Inc. Pulse oximeter
US7003751B1 (en) * 2003-01-10 2006-02-21 Xilinx Inc. Specification of the hierarchy, connectivity, and graphical representation of a circuit design
WO2005044101A1 (en) * 2003-10-31 2005-05-19 The Board Of Trustees Of The University Of Illinois Separation of one or more fetal heart component signals from heart signal information obtained from a pregnant female
US7515949B2 (en) * 2005-06-29 2009-04-07 General Electric Company Wavelet transform of a plethysmographic signal
US11607152B2 (en) * 2007-06-12 2023-03-21 Sotera Wireless, Inc. Optical sensors for use in vital sign monitoring
WO2009063463A2 (en) 2007-11-14 2009-05-22 Medasense Biometrics Ltd Pain monitoring using multidimensional analysis of physiological signals
JP5320837B2 (ja) * 2008-06-12 2013-10-23 富士通株式会社 脈拍計測装置、脈拍計測プログラムおよび脈拍計測方法
WO2010011763A1 (en) * 2008-07-22 2010-01-28 Jaafar Tindi Handheld apparatus to determine the viability of a biological tissue
ES2338624B1 (es) * 2008-11-07 2011-09-13 Sabirmedical,S.L. Sistema y aparato para la medicion no invasiva de los niveles de glucosa en sangre.
US20100324388A1 (en) * 2009-06-17 2010-12-23 Jim Moon Body-worn pulse oximeter
US8622922B2 (en) * 2009-09-14 2014-01-07 Sotera Wireless, Inc. Body-worn monitor for measuring respiration rate
WO2012167096A2 (en) * 2011-06-03 2012-12-06 The Board Of Trustees Of The University Of Illinois Conformable actively multiplexed high-density surface electrode array for brain interfacing
US8948832B2 (en) * 2012-06-22 2015-02-03 Fitbit, Inc. Wearable heart rate monitor
US9788793B2 (en) * 2012-08-01 2017-10-17 Koninklijke Philips N.V. Method and system to identify motion artifacts and improve reliability of measurements and alarms in photoplethysmographic measurements
JP5946364B2 (ja) * 2012-08-21 2016-07-06 株式会社Nttドコモ 時系列データ処理システム、時系列データ処理方法
WO2014039567A1 (en) * 2012-09-04 2014-03-13 Bobo Analytics, Inc. Systems, devices and methods for continuous heart rate monitoring and interpretation
US9339236B2 (en) * 2013-07-05 2016-05-17 James Tyler Frix Continuous transdermal monitoring system and method
US20150190077A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Electronic device and photoplethysmography method
US10258288B2 (en) * 2014-03-24 2019-04-16 Samsung Electronics Co., Ltd. Confidence indicator for physiological measurements using a wearable sensor platform
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
US9808185B2 (en) * 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
US9794653B2 (en) * 2014-09-27 2017-10-17 Valencell, Inc. Methods and apparatus for improving signal quality in wearable biometric monitoring devices
US10524734B2 (en) * 2014-10-08 2020-01-07 MAD Apparel, Inc. Method and system for measuring beat parameters
JP6300026B2 (ja) * 2014-12-01 2018-03-28 ソニー株式会社 計測装置及び計測方法
CN104665840B (zh) * 2015-03-02 2017-11-21 桂林麦迪胜电子科技有限公司 无创血糖测量方法及指端测量探头
JP2016168149A (ja) * 2015-03-12 2016-09-23 株式会社メガチップス 脈拍測定装置
US10123746B2 (en) * 2015-05-08 2018-11-13 Texas Instruments Incorporated Accuracy of heart rate estimation from photoplethysmographic (PPG) signals
US9662023B2 (en) * 2015-06-16 2017-05-30 Qualcomm Incorporated Robust heart rate estimation
CN205144547U (zh) * 2015-11-29 2016-04-13 浙江师范大学 适用于可穿戴式心率测量设备的运动噪声消除系统
CN105286845A (zh) * 2015-11-29 2016-02-03 浙江师范大学 一种适用于可穿戴式心率测量设备的运动噪声消除方法
CN105997043B (zh) * 2016-06-24 2018-11-20 中国科学院电子学研究所 一种基于腕式可穿戴设备的脉率提取方法
EP3387990B1 (en) * 2017-03-28 2020-04-29 IMEC vzw System and method for heart rate detection with motion artifact reduction
EP3501382A1 (en) * 2017-12-22 2019-06-26 Stichting IMEC Nederland A system and a method for motion artifact reduction in a ppg signal

Also Published As

Publication number Publication date
CN108926333A (zh) 2018-12-04
JP2018198921A (ja) 2018-12-20
US20180338727A1 (en) 2018-11-29
EP3406189A1 (en) 2018-11-28
US11039792B2 (en) 2021-06-22
CN108926333B (zh) 2021-04-02
SG10201800561VA (en) 2018-12-28

Similar Documents

Publication Publication Date Title
JP6646081B2 (ja) 心拍数推定のためのシステム及び方法
DK2985572T3 (en) Step counting method and device
TWI538660B (zh) 心跳偵測模組及其偵測、去噪方法
CN109414203B (zh) 基于光学测量的在线心率估计
JP6465899B2 (ja) 生理学的測定におけるアーティファクトを除去するデバイス及び方法
JP2017519548A (ja) マルチチャネルppg信号を使用するモーションアーチファクト低減
Chung et al. Deep learning for heart rate estimation from reflectance photoplethysmography with acceleration power spectrum and acceleration intensity
KR101849263B1 (ko) 견고한 심박수 추정
CN110916636A (zh) 一种基于动态二阶差分阈值的bcg信号心率计算方法及系统
JP6943287B2 (ja) 生体情報処理装置、生体情報処理システム、生体情報処理方法、およびプログラム
KR20190138733A (ko) 휴대용 장치를 이용한 건강 표지자의 결정
CN106037706A (zh) 一种基于光电容积法的心率监测可穿戴设备及监测方法
Sekiguchi et al. Ensemble learning for human activity recognition
CN110292372B (zh) 检测装置
Arunkumar et al. Improved heart rate estimation from photoplethysmography during physical exercise using combination of NLMS and RLS adaptive filters
US20180000423A1 (en) Measuring apparatus, measuring method and non-transitory computer readable medium
JP2018079102A (ja) 歩行状態推定方法、歩行状態推定プログラムおよび情報処理装置
Wang et al. Heart rate monitoring from wrist-type PPG based on singular spectrum analysis with motion decision
US20210366602A1 (en) Signal-processing device, analysis system, signal-processing method, and signal-processing program
CN105982658A (zh) 生理信息侦测方法及装置
Yan et al. A resource-efficient, robust QRS detector using data compression and time-sharing architecture
CN114533010A (zh) 心率检测方法和装置
US10772567B2 (en) Frequency domain adaptive motion cancellation filter
CN109497984A (zh) 一种心率信号的处理方法及相关设备
CN117122308B (zh) 一种基于手机内置加速度传感器的心电图测量方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R150 Certificate of patent or registration of utility model

Ref document number: 6646081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250