WO2019186955A1 - 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム - Google Patents

生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム Download PDF

Info

Publication number
WO2019186955A1
WO2019186955A1 PCT/JP2018/013430 JP2018013430W WO2019186955A1 WO 2019186955 A1 WO2019186955 A1 WO 2019186955A1 JP 2018013430 W JP2018013430 W JP 2018013430W WO 2019186955 A1 WO2019186955 A1 WO 2019186955A1
Authority
WO
WIPO (PCT)
Prior art keywords
biological information
reliability
information
video analysis
unit
Prior art date
Application number
PCT/JP2018/013430
Other languages
English (en)
French (fr)
Inventor
祥史 大西
旭美 梅松
剛範 辻川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020508751A priority Critical patent/JP6911998B2/ja
Priority to PCT/JP2018/013430 priority patent/WO2019186955A1/ja
Publication of WO2019186955A1 publication Critical patent/WO2019186955A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Definitions

  • the present invention relates to a biological information estimation device, a biological information estimation method, and a biological information estimation program.
  • Patent Document 1 discloses a sebum amount estimation method for performing skin diagnosis of a measurement subject in the beauty field.
  • the estimated sebum amount is calculated using an equation or model showing the correlation between the visual feature amount and age of the pores of the measurement subject and the sebum amount.
  • Patent Document 2 discloses a vital data measuring device and a vital data processing method for measuring vital data (biological information) of a measurement subject.
  • Patent Document 3 measures biological information such as the respiratory rate and heart rate of a measurement subject, determines reliability according to the measurement subject's state and variations in measurement data, and outputs highly reliable biological information.
  • a biological information output device and a biological information output method are disclosed.
  • FIG. 3 shows a configuration of a conventional biological information estimation apparatus.
  • the biological information estimation apparatus includes a vital data measuring device 1001, a camera 1002, a breathing / heartbeat recognition unit 1003, an action recognition unit 1004, and a breathing / heartbeat display unit 1005.
  • the operation of this biological information estimation apparatus is as follows.
  • the vital data measuring instrument 1001 is, for example, a non-contact measuring instrument such as a Doppler sensor, and measures vital data such as breathing and heartbeat of the measurement subject.
  • the motion recognition unit 1004 recognizes motion information indicating the amount of motion of the measurement target person from the video of the measurement target person captured by the camera 1002.
  • the respiration / heart rate recognition unit 1003 inputs vital data and motion information, and determines whether the amount of motion of the measurement subject is equal to or less than a threshold value. When the amount of movement of the measurement subject is equal to or less than the threshold, it is determined that the vital data has high reliability, and is displayed on the respiration / heart rate display unit 1005.
  • Non-Patent Document 1 In connection with the biometric information estimation technology, Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3 can be cited as methods for calculating human characteristics from video data.
  • Non-patent literature 4 and non-patent literature 5 can be cited as techniques for estimating the heartbeat and respiration of a measurement subject from video data.
  • Non-Patent Document 6 can be cited as a method for calculating heart rate variability in a human stress state.
  • Patent Document 1 estimates the amount of sebum according to the external visual feature amount of the measurement subject, and does not estimate the biological information inside the measurement subject.
  • patent document 2 measures vital data using contact type measuring instruments, such as an electrocardiograph, and non-contact type measuring instruments, such as a Doppler sensor, in order to reduce the noise by a measurement subject's motion,
  • contact type measuring instruments such as an electrocardiograph
  • non-contact type measuring instruments such as a Doppler sensor
  • Patent document 3 detects body movement (vibration) of a measurement subject detected by a detection device installed between a bed and a mattress in the field of medical care or nursing care, and detects biological information (respiration rate or heart rate).
  • biological information respiration rate or heart rate.
  • the reliability of vital data is based on a rule that is determined by comparing the amount of movement of the measurement subject with a threshold value, so that it is difficult to design the rule.
  • the movement of the body of the measurement subject also has a plurality of factors depending on whether the whole body moves or a part of the body (for example, the head or face) moves. Any factor can reduce the reliability of the estimated value of the biological information, but it is unclear how much each affects the estimated value of the biological information.
  • a plurality of factors are combined, it is not easy to design a rule for determining the movement of the measurement subject.
  • the present invention solves the above-described problems, and can automatically estimate biological information with high reliability by automatically determining reliability without designing a reliability determination rule for biological information.
  • An object is to provide an information estimation apparatus, a biological information estimation method, and a biological information estimation program.
  • a video analysis unit that analyzes video of a measurement subject and generates video analysis information
  • a biological information estimation unit that estimates biological information from the video analysis information, video analysis information
  • a biological information estimation apparatus including a reliability calculation unit that calculates reliability of biological information using information and a reliability model, and outputs biological information together with reliability.
  • a second aspect of the present invention includes a video input unit that inputs video data of a measurement subject, a video analysis unit that analyzes video data to generate video analysis information, and a biological body that estimates biological information from the video analysis information Using the information estimation unit, the reliability model storage unit that stores the reliability model for calculating the reliability of the biological information, the video analysis information, the estimated biological information, and the reliability model, the reliability of the biological information
  • the reliability model storage unit that stores the reliability model for calculating the reliability of the biological information, the video analysis information, the estimated biological information, and the reliability model, the reliability of the biological information
  • a biological information estimation apparatus including a reliability calculation unit that calculates a degree, and an output unit that outputs biological information and reliability.
  • a video analysis step of analyzing a video of a measurement subject to generate video analysis information a biological information estimation step of estimating biological information from the video analysis information, video analysis information,
  • a biological information estimation method comprising: a reliability calculation step of calculating reliability of biological information using information and a reliability model, and outputting biological information together with reliability.
  • a video input step for inputting video data of a measurement subject
  • a video analysis step for analyzing video data to generate video analysis information
  • a biological body for estimating biological information from the video analysis information.
  • the reliability model storage step for storing the reliability model for calculating the reliability of the biological information, the video analysis information, the estimated biological information, and the reliability model, the reliability of the biological information
  • a biological information estimation method comprising a reliability calculation step for calculating a degree, and an output step for outputting biological information and reliability.
  • a video analysis step for analyzing a video of a measurement subject to generate video analysis information
  • a biological information estimation step for estimating biological information from the video analysis information, video analysis information
  • a biological information estimation program that causes a computer to execute a reliability calculation step of calculating reliability of biological information using information and a reliability model.
  • the biological information is estimated with high reliability. can do.
  • FIG. 1 shows a configuration of a biological information estimation apparatus 100 according to an embodiment of the present invention.
  • the biological information estimation apparatus includes a video input unit 101, a video analysis unit 102, a biological information estimation unit 103, a reliability model storage unit 104, a reliability calculation unit 105, a biological information output unit 106, and a reliability output unit 107.
  • the biological information estimation apparatus includes a video input unit 101, a video analysis unit 102, a biological information estimation unit 103, a reliability model storage unit 104, a reliability calculation unit 105, a biological information output unit 106, and a reliability output unit 107.
  • the video input unit 101 receives, for example, video data captured by a camera device, or receives video data stored in a database or the like via a network.
  • the video analysis unit 102 analyzes the video data, detects the presence of the measurement target person, detects the face area and body area of the measurement target person, and calculates the face direction, facial feature points, line of sight, and the like.
  • Non-Patent Document 1 to Non-Patent Document 3 can be cited as techniques related to detecting a person from video data and detecting a face portion and calculating facial feature points.
  • Non-Patent Document 1 discloses a technique for detecting a person in an image using a gradient direction histogram.
  • Non-Patent Document 2 discloses a technique related to face alignment using a regression tree learning algorithm.
  • Non-Patent Document 3 discloses a machine learning toolkit using a C ++ programming language. In consideration of these techniques, the video analysis unit 102 can calculate facial feature points and the like from the video data of the measurement subject.
  • the biological information estimation unit 103 Based on the video data (video information) analyzed by the video analysis unit 102, the biological information estimation unit 103 obtains biological information such as the heartbeat, heartbeat interval (heartbeat fluctuation time series data, RRI), and respiration of the measurement subject. presume.
  • Examples of techniques for estimating heart rate and respiration from video data include Non-Patent Document 4 and Non-Patent Document 5.
  • Non-Patent Document 4 discloses a non-contact automatic heart rate measurement technique using video imaging and blind signal source separation (BSS).
  • BSS blind signal source separation
  • Non-Patent Document 5 discloses a non-contact real-time respiratory monitoring and a respiratory rate estimation algorithm using a video camera.
  • the biological information estimation unit 103 estimates biological information from video data.
  • the biometric information estimation part 103 may use the measured value of the vital data measured by the Doppler sensor etc. as described in patent document 2, instead of estimating biometric information from video data.
  • the reliability model storage unit 104 stores a reliability model.
  • FIG. 2 shows a configuration of a reliability model learning apparatus 200 for learning a reliability model.
  • the reliability model learning device 200 includes a reference biological information input unit 201, a biological information estimation unit 202, a video analysis unit 203, a teacher signal calculation unit 204, a reliability model learning unit 205, and a reliability model storage unit 206.
  • the biometric information input unit 201 is biometric information (reference biometric information) measured using a contact-type sensor that can measure biometric information more robustly than a non-contact type sensor such as a video acquisition device or a Doppler sensor. Enter.
  • the biological information estimation unit 202 has the same configuration and function as the biological information estimation unit 103 of the biological information estimation apparatus 100 of FIG.
  • the video analysis unit 203 has the same configuration and function as the video analysis unit 102 of the biological information estimation apparatus 100 in FIG.
  • the teacher signal calculation unit 204 calculates an error between the reference biological information input by the reference biological information input unit 201 and the biological information estimated by the biological information estimation unit 202 as a teacher signal.
  • the error value a difference between the reference biometric information and the biometric information, an average absolute error, a mean square error, a mean square error, or the like can be used. If it is determined that the reference biometric information is not accurate, a prescribed flag value is calculated as a teacher signal. Whether or not the reference biometric information is inaccurate is determined, for example, by whether or not a value or change of a biosignal that cannot normally occur is measured. In the case of the heart rate interval (RRI) of the measurement subject, it can be determined as an abnormal value when it changes by 20% or more from the previous value in continuous observation.
  • RRI heart rate interval
  • the reliability model learning unit 205 uses the biological information estimated by the biological information estimation unit 202 and the video analysis information calculated by the video analysis unit 204 (for example, detection information on the face area or body area of the measurement target, face orientation). And line-of-sight information, facial feature points, face area video information, etc.) and a reliability model is learned so that a teacher signal is output.
  • the reliability model can be constructed using a known machine learning method such as a neural network or support vector regression.
  • the reliability model storage unit 206 stores the reliability model learned by the reliability model learning unit 205.
  • the reliability calculation unit 105 illustrated in FIG. 1 includes the biological information estimated by the biological information estimation unit 103 and the video analysis information calculated by the video analysis unit 102 (for example, the face region and body region of the measurement target person).
  • the reliability model stored in the reliability model storage unit 104 (that is, the reliability model of the reliability model learning device 200) is input with detection information, face orientation and line-of-sight information, facial feature points, facial region video information, and the like.
  • the reliability of the biological information estimated by the biological information estimation unit 103 is calculated using a reliability model stored in the storage unit 206.
  • the biometric information output unit 106 outputs the biometric information estimated by the biometric information estimation unit 103.
  • the reliability output unit 107 outputs the reliability calculated by the reliability calculation unit 105.
  • the reliability model storage unit 104 may be included in the biological information estimation apparatus 100 as a storage device such as a memory, for example. Or the reliability model memory
  • storage part 104 may be installed in a server or a cloud system, and the biometric information estimation apparatus 100 may acquire a reliability model via a network.
  • the biometric information output unit 106 and the reliability output unit 107 are not separate functions, and may be combined into one. For example, when the functions of the biometric information output unit 106 and the reliability output unit 107 are incorporated in a monitor, the biometric information and the reliability may be displayed in association with each other.
  • the video analysis unit 203 analyzes video data of the measurement target person and analyzes video analysis information (for example, detection information of the face area and body area of the measurement target person, face orientation and line-of-sight information, face Feature points, face area video information, etc.) are generated (step S11).
  • the biological information estimation unit 202 estimates the biological information of the measurement subject based on the video analysis information (step S12).
  • the reference biometric information input unit 201 acquires reference biometric information using a contact sensor (step S13).
  • the teacher signal calculation unit 204 calculates a teacher signal corresponding to the error between the estimated biological information and the reference biological information (step S14).
  • the reliability model learning unit 205 inputs the estimated biological information and video analysis information, and learns the reliability model so that a teacher signal is output (step S15). Thereafter, the reliability model obtained as a result of learning is stored in the reliability model storage unit 206 (step S16).
  • the video analysis unit 102 analyzes the video data of the measurement subject input by the video input unit 101, and analyzes video analysis information (for example, detection information of the measurement subject's face area or body region, Face direction, line-of-sight information, face feature points, face area video information, etc.) are generated (step S1).
  • the biological information estimation unit 103 estimates biological information based on the video analysis information (step S2).
  • the reliability calculation unit 105 inputs video analysis information from the video analysis unit 102, reads a reliability model from the reliability model storage unit 104, and inputs biometric information estimated by the biometric information estimation unit 103.
  • the reliability calculation unit 105 calculates the reliability of the estimated biological information using the video analysis information and the reliability model (step S3). Thereby, the reliability of the estimated biological information can be calculated without performing rule design based on a factor that may cause a decrease in the reliability of the estimated value of the biological information. Thereafter, the biometric information output unit 106 and the reliability output unit 107 output the biometric information and the reliability in association with each other (step S4).
  • the biological information estimated by the biological information estimation apparatus 100 is used for grasping a human stress state and diagnosing a disease.
  • the heart rate value of the person to be measured is not used as it is, but the heart rate variability (HRV) is used as human stress state and illness diagnosis information.
  • HRV heart rate variability
  • a technique disclosed in Non-Patent Document 6 a heart rate variability measuring technique for detecting mental stress
  • the teacher signal calculation unit 204 calculates the first heart rate variability from the first heart rate information input by the reference biometric information input unit 201, and is estimated by the biometric information estimation unit 202.
  • the second heart rate fluctuation is calculated from the heart rate information of 2.
  • the teacher signal calculation unit 204 calculates an error between the first heart rate variability and the second heart rate variability as a teacher signal. Similar to the above-described embodiment, when it is determined that the reference biometric information input by the reference biometric information input unit 201 is not accurate, an existing flag value may be calculated as a teacher signal.
  • the reliability model learning unit 205 learns a reliability model using a heartbeat fluctuation error corresponding to an error between the first heartbeat fluctuation and the second heartbeat fluctuation as a teacher signal.
  • the reliability of the biological information is determined by the reliability model learned using the error of the heartbeat fluctuation value as a teacher signal instead of the error of the heartbeat value estimated for the measurement target person. Is calculated. For this reason, the reliability of the biological information can be calculated based on the utilization index of the biological information estimated from the heartbeat variability, not the reliability of the measurement subject's biological information itself.
  • the minimum configuration of the biological information estimation apparatus includes a video analysis unit 102, a biological information estimation unit 103, and a reliability calculation unit 105.
  • the video analysis unit 102 acquires video data of the measurement subject from the outside, analyzes the video data, and generates video analysis information.
  • the biological information estimation unit 103 estimates the biological information of the measurement subject based on the video analysis information.
  • the reliability calculation unit 105 acquires a reliability model from an external storage device, and calculates the reliability of the biological information using the video analysis information and the reliability model.
  • the biometric information estimation unit 103 outputs the estimated biometric information to the outside, and the reliability calculation unit 105 outputs the calculated reliability to the outside.
  • the biological information estimation apparatus and biological information estimation method according to the present invention are not limited to the above-described embodiments, but also include various modifications within the scope of embodying the gist of the invention defined in the claims. Is.
  • the heart rate variability has been described as an example, but the present invention can also be applied to other biological information (or vital data) such as a change in respiratory rate.
  • the information processing apparatus includes a video device, a display unit, a processing unit, a storage unit, and the like, and learned according to a teacher signal corresponding to an error between the reference biological information and the estimated biological information as described above.
  • a confidence model may be stored.
  • the present invention estimates biological information such as heartbeat and respiration of a measurement subject based on video data. For example, by estimating the heartbeat of a measurement subject using a video device such as a camera, It can be applied to fields such as patient illness judgment and stress judgment. However, the present invention is not limited to this, and can also be applied to the person information processing field such as person detection, person authentication, and person state analysis combining biometric information and video information.
  • Biometric Information 101 Video Input Unit 102 Video Analysis Unit 103 Biometric Information Estimation Unit 104 Reliability Model Storage Unit 105 Reliability Calculation Unit 106 Biometric Information Output Unit 107 Reliability Output Unit 200 Reliability Model Learning Device 201 Reference Biometric Information Input Unit 202 Biometric information estimation unit 203 Video analysis unit 204 Teachers signal calculation unit 205 Reliability model learning unit 206 Reliability model storage unit 1001 Vital data measurement unit 1002 Camera 1003 Respiration / heart rate recognition unit 1004 Motion recognition unit 1005 Respiration / heart rate display unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Cardiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

測定対象者の生体情報を推定する生体情報推定装置は、測定対象者の映像を解析して映像解析情報を生成する映像解析部と、映像解析情報から生体情報を推定する生体情報推定部と、映像解析情報と、生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出部と、を具備し、生体情報を信頼度とともに出力する。

Description

生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム
　本発明は、生体情報推定装置、生体情報推定方法、及び生体情報推定プログラムに関する。
　医療機関などにおいて、測定対象者の呼吸や心拍などの生体情報を推定する生体情報推定装置が開発されている。特許文献１は、美容分野において、測定対象者の肌診断を行うための皮脂量推定方法を開示している。ここで、測定対象者の毛穴の視覚的特徴量及び年齢と、皮脂量との相関関係を示す式又はモデルを用いて、推定皮脂量を算出している。特許文献２は、測定対象者のバイタルデータ（生体情報）を測定するバイタルデータ測定装置及びバイタルデータ処理方法を開示している。特許文献３は、測定対象者の呼吸数や心拍数などの生体情報を測定し、測定対象者の状態や測定データのバラツキに応じて信頼性を判定し、信頼性の高い生体情報を出力する生体情報出力装置及び生体情報出力方法を開示している。
　図３は、従来の生体情報推定装置の構成を示す。生体情報推定装置は、バイタルデータ計測器１００１、カメラ１００２、呼吸・心拍認識部１００３、動作認識部１００４、及び呼吸・心拍表示部１００５を具備している。この生体情報推定装置の動作は、下記の通りである。
　バイタルデータ計測器１００１は、例えば、ドップラーセンサなどの非接触計測器であり、測定対象者の呼吸や心拍などのバイタルデータを計測する。動作認識部１００４は、カメラ１００２で撮影した測定対象者の映像から測定対象者の動きの量を示す動き情報を認識する。呼吸・心拍認識部１００３は、バイタルデータと動き情報を入力し、測定対象者の動きの量が閾値以下であるか判定する。測定対象者の動きの量が閾値以下の場合に、バイタルデータの信頼性が高いと判定して、呼吸・心拍表示部１００５で表示する。
　生体情報推定技術に関連して、映像データから人物の特徴算出方法として、非特許文献１、非特許文献２、非特許文献３が挙げられる。また、映像データから測定対象者の心拍や呼吸を推定する技術として、非特許文献４及び非特許文献５が挙げられる。さらに、人間のストレス状態における心拍変動の算出方法として、非特許文献６が挙げられる。
国際公開第２０１３／０９４４４２号 特開２０１５－１２３１６０号公報 特開２０１７－４７２１１号公報
Navneet Dalal and Bill Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2005 Vahid Kazemi and Josephine Sullivan, "One Millisecond Face Alignment with an Ensemble of Regression Trees", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014 Davis E. King, Dlib-ml: A Machine Learning Toolkit, Journal of Machine Learning Research 10, pp. 1755-1758, 2009 Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-Contact, automated cardiac pulse measurements using video imaging and blind source separation", OPTICS EXPRESS, Vol. 18, No. 10, May 2010, pp. 10762-10774 F. Braun, A. Lemkaddem, V. Moser, S. Dasen, O. Grossenbacher, and M. Bertschi, "Contactless Respiration Monitoring in Real-Time via a Video Camera", Springer Nature Singapore Pte Ltd. 2018, H. eskola et al. (eds.), EMBEC & NBC 2017, IFMBE Proceedings 65 S. Boonnithi and S. Phongsuphap, "Comparison of Heart Rate Variability Measures for Mental Stress Detection", Proceedings of the Computing in Cardiology (CinC’11) pp. 85-88, 2011
　特許文献１は、測定対象者の外部の視覚的特徴量に応じて皮脂量を推定するものであり、測定対象者の内部の生体情報を推定するものではない。特許文献２は、心電計等の接触型計測器やドップラーセンサ等の非接触型計測器を用いてバイタルデータを測定しているものの、測定対象者の動きによるノイズを低減するため、測定対象者をカメラで撮影した映像データにより、動きの多い時刻において取得されたバイタルデータを用いないことによりバイタルデータの信頼性を向上させるものであり、測定対象者の動きに依拠して信頼性の低いバイタルデータを除外するという単純な処理を実施しているだけである。特許文献３は、医療や介護の現場において、ベッドとマットレスとの間に設置した検出装置により検出された測定対象者の体動（振動）を検出して、生体情報（呼吸数や心拍数）を算出するものであり、生体情報の異常値を示すアラームの信頼性を高めるため、測定対象者の状態（臥床・離床状態）や測定データのバラツキなどに基づく信頼性評価を行っているが、実験などによる信頼性評価手法を採用しており、処理過程が複雑である。
　上述の生体情報推定装置において、バイタルデータの信頼性は、測定対象者の動きの量と閾値との比較で判定するというルールに基づいているため、そのルール設計が困難である。また、測定対象者の身体の動きについても、身体全体が動くのか、身体の一部（例えば、頭部や顔）が動くのかに応じた複数の要因が存在する。何れの要因でも生体情報の推定値の信頼性を低下させ得るが、それぞれが生体情報の推定値にどの程度影響するのか不明である。また、複数の要因が組み合わさった場合、測定対象者の動き判定のルール設計をすることが容易ではない。
　本発明は、上記の課題を解決するものであり、生体情報の信頼度判定のルールを設計することなく自動的に信頼度の判定を行ない、高い信頼度で生体情報を推定することができる生体情報推定装置、生体情報推定方法、及び生体情報推定プログラムを提供することを目的とする。
　本発明の第一の態様は、測定対象者の映像を解析して映像解析情報を生成する映像解析部と、映像解析情報から生体情報を推定する生体情報推定部と、映像解析情報と、生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出部と、を具備し、生体情報を信頼度とともに出力するようにした生体情報推定装置である。
　本発明の第二の態様は、測定対象者の映像データを入力する映像入力部と、映像データを解析して映像解析情報を生成する映像解析部と、映像解析情報から生体情報を推定する生体情報推定部と、生体情報の信頼度を算出する信頼度モデルを記憶した信頼度モデル記憶部と、映像解析情報と、推定された生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出部と、生体情報と、信頼度とを出力する出力部と、を具備した生体情報推定装置である。
　本発明の第三の態様は、測定対象者の映像を解析して映像解析情報を生成する映像解析工程と、映像解析情報から生体情報を推定する生体情報推定工程と、映像解析情報と、生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出工程と、を具備し、生体情報を信頼度とともに出力するようにした生体情報推定方法である。
　本発明の第四の態様は、測定対象者の映像データを入力する映像入力工程と、映像データを解析して映像解析情報を生成する映像解析工程と、映像解析情報から生体情報を推定する生体情報推定工程と、生体情報の信頼度を算出する信頼度モデルを記憶する信頼度モデル記憶工程と、映像解析情報と、推定された生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出工程と、生体情報と、信頼度とを出力する出力工程と、を具備した生体情報推定方法である。
　本発明の第五の態様は、測定対象者の映像を解析して映像解析情報を生成する映像解析工程と、映像解析情報から生体情報を推定する生体情報推定工程と、映像解析情報と、生体情報と、信頼度モデルとを用いて、生体情報の信頼度を算出する信頼度算出工程と、をコンピュータに実行させる生体情報推定プログラムである。
　本発明では、測定対象者の生体情報について、信頼度判定ルールを設計することなく、信頼度モデルを用いて、生体情報の信頼度を算出するようにしたので、高い信頼度で生体情報を推定することができる。
本発明の一実施例に係る生体情報推定装置の構成を示すブロック図である。 本発明の一実施例に係る生体情報推定装置にて使用される信頼度モデルを学習する信頼度モデル学習装置の構成を示すブロック図である。 従来の生体情報推定装置の一例の構成を示すブロック図である。 生体情報推定装置の動作を説明するフローチャートである。 信頼度モデル学習装置の動作を説明するフローチャートである。 本発明に係る生体情報推定装置の最小構成を示すブロック図である。
　本発明に係る生体情報推定装置及び生体情報推定方法について、図面を参照して、実施例とともに詳細に説明する。
　図１は、本発明の一実施例に係る生体情報推定装置１００の構成を示す。生体情報推定装置は、映像入力部１０１、映像解析部１０２、生体情報推定部１０３、信頼度モデル記憶部１０４、信頼度算出部１０５、生体情報出力部１０６、および信頼度出力部１０７より構成される。
　映像入力部１０１は、例えば、カメラ機器で撮像された映像データを入力するか、或いは、データベースなどに記憶された映像データをネットワーク経由で受信する。映像解析部１０２は、映像データを解析し、測定対象者の存在を検出するとともに、測定対象者の顔領域や身体領域を検出し、顔の向きや顔特徴点、並びに視線などを算出する。
　映像データから人物を検出するとともに、顔部分の検出や、顔特徴点の算出に係る技術として、例えば、非特許文献１乃至非特許文献３が挙げられる。非特許文献１は、勾配方向ヒストグラムを用いて画像内の人物を検出する技術を開示している。非特許文献２は、回帰木の学習アルゴリズムを用いた顔整列に係る技術を開示している。非特許文献３は、Ｃ＋＋プログラム言語によるマシン学習ツールキットを開示している。これらの技術を参酌して、映像解析部１０２は、測定対象者の映像データから顔特徴点などを算出することが可能である。
　生体情報推定部１０３は、映像解析部１０２で解析された映像データ（映像情報）に基づいて、測定対象者の心拍、心拍間隔（心拍の変動時系列データ、ＲＲＩ）、呼吸などの生体情報を推定する。映像データから心拍や呼吸を推定する技術として、例えば、非特許文献４、非特許文献５が挙げられる。非特許文献４は、映像撮像とブラインド信号原分離（ＢＳＳ）を用いた非接触の自動心拍測定技術を開示している。非特許文献５は、ビデオカメラによる非接触のリアルタイム呼吸監視や呼吸数（Ｒｅｓｐｉｒａｔｏｒｙ　Ｒａｔｅ）推定アルゴリズムを開示している。これらの技術を参酌して、生体情報推定部１０３は、映像データから生体情報を推定する。或いは、生体情報推定部１０３は、映像データから生体情報を推定する代わりに、特許文献２に記載されたように、ドップラーセンサなどにより計測したバイタルデータの計測値を用いてもよい。また、信頼度モデル記憶部１０４は、信頼度モデルを記憶している。
　図２は、信頼度モデルを学習する信頼度モデル学習装置２００の構成を示す。
　信頼度モデル学習装置２００は、参照生体情報入力部２０１、生体情報推定部２０２、映像解析部２０３、教師信号算出部２０４、信頼度モデル学習部２０５、信頼度モデル記憶部２０６を具備する。
　参照生体情報入力部２０１は、映像取得装置やドップラーセンサなどの非接触型のセンサに比べて、より頑健に生体情報の測定が可能な接触型センサを用いて計測した生体情報（参照生体情報）を入力する。生体情報推定部２０２は、図１の生体情報推定装置１００の生体情報推定部１０３と同様の構成及び機能を有する。また、映像解析部２０３は、図１の生体情報推定装置１００の映像解析部１０２と同様の構成及び機能を有する。
　教師信号算出部２０４は、参照生体情報入力部２０１で入力した参照生体情報と、生体情報推定部２０２で推定した生体情報との誤差を教師信号として算出する。誤差の値として、参照生体情報と生体情報との差分、平均絶対誤差、平均二乗誤差、平均平方二乗誤差などを用いることができる。また、参照生体情報が正確でないと判定した場合は、規定のフラグ値を教師信号として算出する。参照生体情報が正確でないか否かは、例えば、通常起こりえない生体信号の値や変化が計測されたか否かで判定する。測定対象者の心拍間隔（ＲＲＩ）の場合、連続した観測で直前の値から２０％以上変化した場合に、異常値と判定することができる。
　信頼性モデル学習部２０５は、生体情報推定部２０２で推定された生体情報と、映像解析部２０４で算出された映像解析情報（例えば、測定対象者の顔領域や身体領域の検出情報、顔向きや視線情報、顔特徴点、顔領域の映像情報など）を入力し、教師信号が出力されるように信頼度モデルの学習を行う。信頼度モデルは、ニューラルネットワークやサポートベクトル回帰などの公知の機械学習の手法を用いて構築することができる。信頼度モデル記憶部２０６は、信頼度モデル学習部２０５で学習した信頼度モデルを記憶する。
　図１に示される、信頼度算出部１０５は、生体情報推定部１０３で推定された生体情報と、映像解析部１０２で算出された映像解析情報（例えば、測定対象者の顔領域や身体領域の検出情報、顔向きや視線情報、顔特徴点、顔領域の映像情報など）を入力し、信頼度モデル記憶部１０４で記憶された信頼度モデル（即ち、信頼度モデル学習装置２００の信頼度モデル記憶部２０６に記憶された信頼度モデル）を用いて、生体情報推定部１０３で推定された生体情報の信頼度を算出する。その後、生体情報出力部１０６は、生体情報推定部１０３で推定された生体情報を出力する。また、信頼度出力部１０７は、信頼度算出部１０５で算出された信頼度を出力する。
図１において、信頼度モデル記憶部１０４は、例えば、メモリなどの記憶装置として、生体情報推定装置１００に含めても良い。或いは、信頼度モデル記憶部１０４をサーバやクラウドシステムに設置し、生体情報推定装置１００はネットワークを介して信頼度モデルを取得するようにしてもよい。また、生体情報出力部１０６と信頼度出力部１０７とは別個の機能ではなく、一つにまとめてもよい。例えば、生体情報出力部１０６と信頼度出力部１０７の機能をモニタに組み込んだ場合、生体情報や信頼度を関連付けてモニタに表示してもよい。
　次に、生体情報推定装置１００と信頼度モデル学習装置２００の動作について図４Ａ及び図４Ｂに示されるフローチャートを参照して説明する。
　まず、図４Ｂに示されるフローチャートを参照して、信頼度モデル学習装置２００の動作を説明する。信頼度モデル学習装置２００において、映像解析部２０３は、測定対象者の映像データを解析して映像解析情報（例えば、測定対象者の顔領域や身体領域の検出情報、顔向きや視線情報、顔特徴点、顔領域の映像情報など）を生成する（ステップＳ１１）。生体情報推定部２０２は、映像解析情報に基づいて測定対象者の生体情報を推定する（ステップＳ１２）。参照生体情報入力部２０１は、接触型センサを用いて参照生体情報を取得する（ステップＳ１３）。教師信号算出部２０４は、推定された生体情報と参照生体情報との誤差に相当する教師信号を算出する（ステップＳ１４）。信頼度モデル学習部２０５は、推定された生体情報と映像解析情報を入力し、教師信号が出力されるように信頼度モデルの学習を行う（ステップＳ１５）。その後、学習の結果得られた信頼度モデルを信頼度モデル記憶部２０６に記憶する（ステップＳ１６）。
　次に、図４Ａに示されるフローチャートを参照して、生体情報推定装置１００の動作を説明する。生体情報推定装置１００において、映像解析部１０２は、映像入力部１０１で入力した測定対象者の映像データを解析して、映像解析情報（例えば、測定対象者の顔領域や身体領域の検出情報、顔向きや視線情報、顔特徴点、顔領域の映像情報など）を生成する（ステップＳ１）。生体情報推定部１０３は、映像解析情報に基づいて生体情報を推定する（ステップＳ２）。信頼度算出部１０５は、映像解析部１０２から映像解析情報を入力するとともに、信頼度モデルを信頼度モデル記憶部１０４から読み出し、かつ、生体情報推定部１０３で推定された生体情報を入力する。信頼度算出部１０５は、映像解析情報と信頼度モデルを用いて、推定された生体情報の信頼度を算出する（ステップＳ３）。これにより、生体情報の推定値の信頼度低下を生じうる要因に基づいてルール設計を行うことなく、推定された生体情報の信頼度を算出することができる。その後、生体情報出力部１０６と信頼度出力部１０７は、生体情報と信頼度とを関連付けて出力する（ステップＳ４）。
　次に、上述の実施例の変形例について説明する。ここでは、図１に示される生体情報推定装置１００と、図２に示される信頼度モデル学習装置２００とを用いて説明する。
　生体情報推定装置１００で推定された生体情報は、人間のストレス状態の把握や病気の診断に用いられる。例えば、測定対象者の心拍値をそのまま用いるのではなく、心拍変動値（ＨＲＶ：Ｈｅａｒｔ　Ｒａｔｅ　Ｖａｒｉａｂｉｌｉｔｙ）を人間のストレス状態や病気の診断情報として用いるものとする。心拍変動の算出方法として、非特許文献６に開示される技術（精神的ストレス検出用の心拍変動測定技術）を適用することができる。
　信頼度モデル学習装置２００において、教師信号算出部２０４は、参照生体情報入力部２０１で入力された第１の心拍情報から第１の心拍変動を算出し、生体情報推定部２０２で推定された第２の心拍情報から第２の心拍変動を算出する。また、教師信号算出部２０４は、第１の心拍変動と第２の心拍変動との誤差を教師信号として算出する。なお、上述の実施例と同様に、参照生体情報入力部２０１で入力した参照生体情報が正確でないと判定した場合、既存のフラグ値を教師信号として算出してもよい。信頼度モデル学習部２０５では、第１の心拍変動と第２の心拍変動との誤差に相当する心拍変動誤差を教師信号として用いて、信頼度モデルを学習する。
　上述のように、本実施例及び変形例では、測定対象者について推定された心拍値の誤差ではなく、心拍変動値の誤差を教師信号として用いて学習した信頼度モデルにより、生体情報の信頼度を算出している。このため、測定対象者の生体情報そのものの信頼度ではなく、心拍変動により推定された生体情報の活用指標に基づいて、生体情報の信頼度を算出することができる。
　次に、本発明に係る生体情報推定装置の最小構成について図５に示されるブロック図を参照して説明する。
　生体情報推定装置の最小構成は、映像解析部１０２、生体情報推定部１０３、及び信頼度算出部１０５を具備する。映像解析部１０２は、測定対象者の映像データを外部から取得して、その映像データを解析して映像解析情報を生成する。生体情報推定部１０３は、映像解析情報に基づいて測定対象者の生体情報を推定する。信頼度算出部１０５は、外部の記憶装置から信頼度モデルを取得して、映像解析情報と信頼度モデルを用いて生体情報の信頼度を算出する。なお、生体情報推定部１０３は、推定した生体情報を外部に出力し、信頼度算出部１０５は、算出した信頼度を外部に出力する。
　本発明に係る生体情報推定装置及び生体情報推定方法は、上述の実施例に限定されるものではなく、請求の範囲に規定される発明の趣旨を具現化する範囲における種々の変更をも包含するものである。例えば、上述の変形例では、心拍変動を例にして説明したが、呼吸数の変動などその他の生体情報（或いは、バイタルデータ）についても、本発明を適用することができる。また、本発明に係る生体情報推定方法をプログラム化して、生体情報推定プログラムを作成して、情報処理装置に搭載することも可能である。この場合、情報処理装置は、映像機器、表示部、処理部、記憶部などを具備するものとし、前述のように参照生体情報と推定生体情報との誤差に相当する教師信号に応じて学習した信頼度モデルを記憶してもよい。
　本発明は、測定対象者の心拍や呼吸などの生体情報を映像データに基づいて推定するものであり、例えば、カメラなどの映像機器により測定対象者の心拍などを推定することにより、医療施設における患者の病気判定やストレス判定などの分野に適用できる。しかし、本発明はこれに限定されるものではなく、生体情報と映像情報とを組み合わせた人物検出、人物認証、人物状態分析などの人物情報処理分野にも適用することができる。
１００　生体情報
１０１　映像入力部
１０２　映像解析部
１０３　生体情報推定部
１０４　信頼度モデル記憶部
１０５　信頼度算出部
１０６　生体情報出力部
１０７　信頼度出力部
２００　信頼度モデル学習装置
２０１　参照生体情報入力部
２０２　生体情報推定部
２０３　映像解析部
２０４　教師信号算出部
２０５　信頼度モデル学習部
２０６　信頼度モデル記憶部
１００１　バイタルデータ計測部
１００２　カメラ
１００３　呼吸・心拍認識部
１００４　動作認識部
１００５　呼吸・心拍表示部

Claims (10)

  1. 　測定対象者の映像を解析して映像解析情報を生成する映像解析部と、
    　前記映像解析情報から生体情報を推定する生体情報推定部と、
    　前記映像解析情報と、前記生体情報と、信頼度モデルとを用いて、前記生体情報の信頼度を算出する信頼度算出部と、を具備し、
    　前記生体情報を前記信頼度とともに出力するようにした生体情報推定装置。
  2. 　測定対象者から直接計測した参照生体情報と、前記映像解析情報から推定された生体情報との誤差に相当する教師信号を算出する教師信号算出部と、
    　前記推定された生体情報と、前記映像解析情報とに基づいて、前記教師信号が出力されるように前記信頼度モデルを学習する信頼度モデル学習部と、を更に具備した請求項１に記載の生体情報推定装置。
  3. 　測定対象者の映像データを入力する映像入力部と、
    　前記映像データを解析して映像解析情報を生成する映像解析部と、
    　前記映像解析情報から生体情報を推定する生体情報推定部と、
    　前記生体情報の信頼度を算出する信頼度モデルを記憶した信頼度モデル記憶部と、
    　前記映像解析情報と、前記推定された生体情報と、前記信頼度モデルとを用いて、前記生体情報の信頼度を算出する信頼度算出部と、
    　前記生体情報と、前記信頼度とを出力する出力部と、
    　を具備した生体情報推定装置。
  4. 　測定対象者から直接計測した参照生体情報を入力する参照生体情報入力部と、
    　前記参照生体情報と、前記映像解析情報から推定された生体情報との誤差に相当する教師信号を算出する教師信号算出部と、
    　前記推定された生体情報と、前記映像解析情報とに基づいて、前記教師信号が出力されるように前記信頼度モデルを学習する信頼度モデル学習部と、を更に具備した請求項３に記載の生体情報推定装置。
  5. 　前記生体情報は、測定対象者の心拍、呼吸、心拍間隔、及び心拍変動の少なくとも一つに相当する、請求項１乃至請求項４のいずれか一項に記載の生体情報推定装置。
  6. 　測定対象者の映像を解析して映像解析情報を生成する映像解析工程と、
    　前記映像解析情報から生体情報を推定する生体情報推定工程と、
    　前記映像解析情報と、前記生体情報と、信頼度モデルとを用いて、前記生体情報の信頼度を算出する信頼度算出工程と、を具備し、
    　前記生体情報を前記信頼度とともに出力するようにした生体情報推定方法。
  7. 　測定対象者の映像データを入力する映像入力工程と、
    　前記映像データを解析して映像解析情報を生成する映像解析工程と、
    　前記映像解析情報から生体情報を推定する生体情報推定工程と、
    　前記生体情報の信頼度を算出する信頼度モデルを記憶する信頼度モデル記憶工程と、
    　前記映像解析情報と、前記推定された生体情報と、前記信頼度モデルとを用いて、前記生体情報の信頼度を算出する信頼度算出工程と、
    　前記生体情報と、前記信頼度とを出力する出力工程と、
    　を具備した生体情報推定方法。
  8. 　測定対象者から直接計測した参照生体情報と、前記映像解析情報から推定された生体情報との誤差に相当する教師信号を算出する教師信号算出工程と、
    　前記推定された生体情報と、前記映像解析情報とに基づいて、前記教師信号が出力されるように前記信頼度モデルを学習する信頼度モデル学習工程と、を具備した請求項６又は請求項７に記載の生体情報推定方法。
  9. 　測定対象者の映像を解析して映像解析情報を生成する映像解析工程と、
    　前記映像解析情報から生体情報を推定する生体情報推定工程と、
    　前記映像解析情報と、前記生体情報と、信頼度モデルとを用いて、前記生体情報の信頼度を算出する信頼度算出工程と、をコンピュータに実行させる生体情報推定プログラム。
  10. 　測定対象者から直接計測した参照生体情報と、前記映像解析情報から推定された生体情報との誤差に相当する教師信号を算出する教師信号算出工程と、
    　前記推定された生体情報と、前記映像解析情報とに基づいて、前記教師信号が出力されるように前記信頼度モデルを学習する信頼度モデル学習工程と、を更に具備した、請求項９に記載の生体情報推定プログラム。
PCT/JP2018/013430 2018-03-29 2018-03-29 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム WO2019186955A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020508751A JP6911998B2 (ja) 2018-03-29 2018-03-29 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム
PCT/JP2018/013430 WO2019186955A1 (ja) 2018-03-29 2018-03-29 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013430 WO2019186955A1 (ja) 2018-03-29 2018-03-29 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム

Publications (1)

Publication Number Publication Date
WO2019186955A1 true WO2019186955A1 (ja) 2019-10-03

Family

ID=68058605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/013430 WO2019186955A1 (ja) 2018-03-29 2018-03-29 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム

Country Status (2)

Country Link
JP (1) JP6911998B2 (ja)
WO (1) WO2019186955A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078538A (ja) * 2019-11-14 2021-05-27 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
WO2022224524A1 (ja) * 2021-04-22 2022-10-27 ソニーグループ株式会社 患者モニタリングシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161421A1 (en) * 2012-12-07 2014-06-12 Intel Corporation Physiological Cue Processing
JP2016513521A (ja) * 2013-03-14 2016-05-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象のバイタルサインを決定する装置及び方法
JP2016077539A (ja) * 2014-10-16 2016-05-16 パナソニックＩｐマネジメント株式会社 生体情報推定装置及び生体情報推定方法
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
US20170354383A1 (en) * 2016-06-08 2017-12-14 Sense.ly Corporation System to determine the accuracy of a medical sensor evaluation
JP2018038553A (ja) * 2016-09-06 2018-03-15 パナソニックＩｐマネジメント株式会社 車載表示装置、車載表示装置の制御方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161421A1 (en) * 2012-12-07 2014-06-12 Intel Corporation Physiological Cue Processing
JP2016513521A (ja) * 2013-03-14 2016-05-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象のバイタルサインを決定する装置及び方法
JP2016077539A (ja) * 2014-10-16 2016-05-16 パナソニックＩｐマネジメント株式会社 生体情報推定装置及び生体情報推定方法
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
US20170354383A1 (en) * 2016-06-08 2017-12-14 Sense.ly Corporation System to determine the accuracy of a medical sensor evaluation
JP2018038553A (ja) * 2016-09-06 2018-03-15 パナソニックＩｐマネジメント株式会社 車載表示装置、車載表示装置の制御方法、及び、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078538A (ja) * 2019-11-14 2021-05-27 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
JP7381301B2 (ja) 2019-11-14 2023-11-15 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、およびコンピュータプログラム
WO2022224524A1 (ja) * 2021-04-22 2022-10-27 ソニーグループ株式会社 患者モニタリングシステム

Also Published As

Publication number Publication date
JPWO2019186955A1 (ja) 2020-12-17
JP6911998B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
McDuff et al. iphys: An open non-contact imaging-based physiological measurement toolbox
JP6371837B2 (ja) 被験者のバイタルサインを取得するデバイスと方法
JP6616331B2 (ja) 対象の無呼吸を検出するための装置、システム及び方法
Pimentel et al. Probabilistic estimation of respiratory rate from wearable sensors
US20120302900A1 (en) Method and apparatus for processing a cyclic physiological signal
Sharma et al. Heart rate and blood pressure measurement based on photoplethysmogram signal using fast Fourier transform
JP6911998B2 (ja) 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム
CN115100159A (zh) 一种呼吸状态检测方法、装置、设备和存储介质
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
Fernández et al. Unobtrusive health monitoring system using video-based physiological information and activity measurements
Mehta et al. OPOIRES: A robust non-contact respiratory rate extraction based on optimal points-of-interest selection from an RGB camera
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
Huang et al. Unobtrusive inter-beat interval estimation from multichannel ballistocardiogram signal using kalman filter
Sikdar et al. Contactless vision-based pulse rate detection of infants under neurological examinations
Nair et al. Illumination invariant non-invasive heart rate and blood pressure estimation from facial thermal images using deep learning
Braun et al. How Suboptimal is Training rPPG Models with Videos and Targets from Different Body Sites?
KR20220072484A (ko) 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법
Rivest-Hénault et al. Quasi real-time contactless physiological sensing using consumer-grade cameras
US20230293113A1 (en) System and method of estimating vital signs of user using artificial intelligence
Ma Towards a Contactless Vital Sign System
Sowmiya et al. Pulse rate estimation with a smartphone camera using image processing algorithm
Hurtado-Otalora et al. Respiratory Rate Estimation by a Non-invasive Optical Method Based on Video Image Processing
US20240023856A1 (en) State of consciousness analysis apparatus, storage medium, and observation system
Chiang et al. Contactless Blood Pressure Measurement by AI Robot.
Yingyan et al. Contactless heart rate and respiratory measurement for sleep monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912089

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508751

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18912089

Country of ref document: EP

Kind code of ref document: A1